[BIB | 论文简读] BioGPT：用于生物医学文本生成和挖掘的生成性预训练转化器

简读分享 | 张鑫 编辑 | 乔剑博

论文题目

BioGPT: generative pre-trained transformer for biomedical text generation and mining

论文摘要

预训练的语言模型在生物医学领域引起了越来越多的关注，这是受其在一般自然语言领域的巨大成功的启发。在自然语言领域的预训练语言模型的两个主要分支，即BERT（及其变体）和GPT（及其变体）中，第一个分支已经在生物医学领域得到了广泛的研究，如BioBERT和PubMedBERT。虽然它们在各种鉴别性的下游生物医学任务上取得了巨大的成功，但由于缺乏生成能力，限制了它们的应用范围。文章提出了BioGPT，一个针对特定领域的生成性Transformer语言模型，在大规模生物医学文献上进行了预训练。文章在六个生物医学自然语言处理任务上评估了BioGPT，并证明文章的模型在大多数任务上都优于以前的模型。在BC5CDR、KD-DTI和DDI端到端关系提取任务上分别得到44.98%、38.42%和40.76%的F1得分，在PubMedQA上得到78.2%的准确率，创造了一个新的记录。关于文本生成的案例研究进一步证明了BioGPT在生物医学文献上的优势。

论文链接

https://academic.oup.com/bib/advance-article/doi/10.1093/bib/bbac409/6713511