大模型时代下的生物医学文本挖掘初步探索.pdf

1、大模型时代下的生物医学文本挖掘初步探索罗 凌信息检索研究室计算机科学与技术学院大连理工大学2024年6月16日YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024生物医学文本挖掘l 生物医学文本挖掘：将人工智能技术（自然语言处理技术和机器学习方法）应用于生物医学领域进行文本挖掘，提升健康医疗领域智能化与信息化的程度。2YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP

2、2024YSSNLP2024YSSNLP2024生物医学关系抽取发展趋势-DDI为例l 药物-药物关系抽取(Drug-Drug Interaction,DDI):单一实体关系类型;句子级关系360657075808590952015201620172019202020212023DDI(Segura-Bedmar et al.,2013)F1Feature-based SVMGraph Kernel-based methodHierarchy Bi-LSTMs+Att.+SDPBioBERTPubMedBERTDESC+MOL+SciBERTLlama2-13b tuning(Zhou et

3、al,2023,medrxiv)YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024生物医学关系抽取资源建设l 现存生物医学关系抽取数据集:单一实体/关系类型 句子级别关系l 现实场景下，关系涉及多种实体对，并且存在跨句子关系 l 大模型存在数据泄露的可能4需要一个更全面、更贴合现实场景、更新的生物医学实体关系抽取数据集YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNL

4、P2024YSSNLP2024丰富类型的关系抽取数据集BioREDl BioRED:600 PubMed 摘要 20,419 实体提及，3,869 唯一ID 6,503 关系l 特性：六种实体类型和八种实体对关系 文档级关系 每个关系标注了是否是新发现或者是背景知识5L Luo,PT Lai,CH Wei,et al.BioRED:a rich biomedical relation extraction dataset.Briefings in Bioinformatics,2022,23(5),bbac282.YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024

5、YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024标注实体类型l 六种实体类型6ConceptScopeOntologyExampleGenegenes,proteins,mRNA and other gene productsNCBI GeneTP53Diseasediseases,symptoms,and some disease-related phenotypesMEDICType II diabetesChemicalchemicals and drugsMeSHAspirinSpeciesspecies in the hierarc

6、hical taxonomy of organismsNCBI TaxonomyRatVariantgenomic/protein variants(including substitutions,deletions,insertions,and others)dbSNP R620WCell Linecell linesCellosaurusHEK293YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024标注关系类型l 8种实体对关系，8种关系类型7YSSNLP202