BioBERT: a pre-trained biomedical language representation model for biomedical text mining

Motivation

• Known: 일반 도메인 word representation 모델(Word2Vec, ELMo, BERT)은 주로 Wikipedia와 같은 일반 텍스트에서 훈련되어 생의학 도메인의 용어와 표현을 충분히 학습하지 못하며, 일반 도메인과 생의학 코퍼스 간에 단어 분포의 차이가 존재한다.
• Gap: 기존의 word representation 모델들이 생의학 텍스트에 적용될 때 도메인 특화의 부재로 인한 성능 저하가 발생하며, 생의학 NLP 작업을 위해서는 도메인 특화 사전 훈련이 필요하다는 점이 충분히 탐구되지 않았다.
• Why: 생의학 문헌의 급속한 증가로 인해 효과적인 생의학 텍스트 마이닝 도구의 필요성이 증대되고 있으며, BERT의 아키텍처적 우수성을 생의학 도메인에 적용할 수 있다면 다양한 생의학 NLP 연구에 광범위한 이점을 제공할 수 있다.
• Approach: BioBERT는 먼저 일반 도메인에서 사전 훈련된 BERT의 가중치로 초기화한 후, PubMed 초록과 PMC 전체 텍스트 아티클로 추가 사전 훈련함으로써 도메인 특화 능력을 확보한다. 생의학 NER, RE, QA 등 다양한 작업에서 미세 조정 및 평가를 수행한다.

Achievement

Fig. 1. Overview of the pre-training and fine-tuning of BioBERT

BioBERT의 주요 성과:

• 생의학 NER에서 0.62% F1 점수 개선
• 생의학 RE에서 2.80% F1 점수 개선
• 생의학 QA에서 12.24% MRR 점수 개선
• 단일 작업 특화 모델들과 달리 최소한의 아키텍처 수정으로 다양한 생의학 텍스트 마이닝 작업에서 최첨단 성능 달성
• 사전 훈련 모델 가중치 및 소스 코드의 공개

How

Fig. 2. (a) Effects of varying the size of the PubMed corpus for pre-training. (b) NER performance of BioBERT at differe

• BERT 기반 아키텍처 유지로 호환성 확보
• WordPiece tokenization을 통한 미등록 단어 문제 해결
• 원본 BERT 어휘 사용으로 기존 모델과의 호환성 유지
• 일반 도메인 코퍼스(Wiki + Books)와 생의학 코퍼스(PubMed, PMC)의 다양한 조합으로 사전 훈련 전략 테스트
• Masked language model 기반 양방향 표현 학습

Originality

• 생의학 도메인을 위한 최초의 BERT 기반 도메인 특화 모델 개발
• 생의학 특정 코퍼스(PubMed, PMC)를 활용한 사전 훈련 전략 도입
• 도메인 특화 사전 훈련이 성능 개선에 미치는 영향에 대한 체계적 분석
• 다양한 생의학 작업에 대한 통일된 아키텍처 제시

Limitation & Further Study

• 원본 BERT 어휘를 사용함으로써 생의학 특화 토크나이제이션의 이점을 완전히 활용하지 못함
• 8개의 NVIDIA V100 GPU에서 23일간의 계산 집약적 사전 훈련 필요로 재현성과 접근성 제한
• 영어 생의학 텍스트에만 한정되어 다른 언어나 도메인으로의 일반화 미흡
• 후속 연구: 생의학 특화 어휘 구성 및 토크나이제이션 최적화, 다국어 생의학 모델 개발, 더 효율적인 사전 훈련 방법 탐구

Evaluation

총평: BioBERT는 도메인 특화 사전 훈련의 이점을 체계적으로 보여주는 견고한 연구로, 생의학 텍스트 마이닝 분야에서 실질적이고 광범위한 영향을 미친 선도적 기여 논문이다.