BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Motivation

• Known: 기존에는 ELMo와 같은 feature-based 접근법과 OpenAI GPT와 같은 fine-tuning 접근법이 language model pre-training을 통해 다양한 NLP task 성능을 향상시켜 왔다.
• Gap: 기존 fine-tuning 기반 접근법(OpenAI GPT)은 unidirectional language model을 사용하여 각 token이 이전 token에만 attend할 수 있고, ELMo는 좌우 방향의 독립적으로 학습된 LM을 얕게 concatenation하는 수준에 그쳐, 진정한 deep bidirectional representation을 학습하지 못한다는 한계가 있다.
• Why: question answering과 같은 token-level task에서는 양방향 문맥을 통합하는 것이 필수적이며, unidirectional 구조의 제약을 해소하면 sentence-level 및 token-level task 전반에서 pre-trained representation의 성능을 크게 끌어올릴 수 있다.
• Approach: BERT는 Cloze task에서 영감을 받은 masked language model objective로 입력 token 일부를 무작위로 마스킹하여 원래 vocabulary id를 예측하게 함으로써 deep bidirectional Transformer를 pre-train하고, 여기에 next sentence prediction task를 추가하여 문장 쌍 관계를 함께 학습한다.

Achievement

1. GLUE 벤치마크 신기록: GLUE score를 80.5%로 끌어올려 기존 대비 7.7%p 절대 향상을 달성했다.
2. MultiNLI 성능 향상: MultiNLI 정확도를 86.7%로, 4.6%p 절대 향상시켰다.
3. SQuAD v1.1 신기록: SQuAD v1.1 Test F1을 93.2로, 1.5점 향상시켰다.
4. SQuAD v2.0 신기록: SQuAD v2.0 Test F1을 83.1로, 5.1점 향상시켰다.
5. 11개 NLP task 전반의 state-of-the-art 달성: task-specific architecture를 크게 수정하지 않고도 다양한 sentence-level 및 token-level task에서 최고 성능을 기록했다.

How

Overall pre-training and fine-tuning procedures for BERT. Apart from output layers, the same architec-

• Model Architecture: Vaswani et al.(2017)의 multi-layer bidirectional Transformer encoder를 기반으로 하며, BERTBASE(L=12, H=768, A=12, 110M parameters)와 BERTLARGE(L=24, H=1024, A=16, 340M parameters) 두 가지 모델 크기를 제시한다.
• Masked Language Model(MLM): 입력 token 중 일부를 무작위로 마스킹하고 오직 문맥만을 이용해 원래 token을 예측하도록 하여, 좌우 문맥을 동시에 融合하는 deep bidirectional representation을 학습한다.
• Next Sentence Prediction(NSP): 두 문장이 실제로 이어지는 문장 쌍인지 여부를 예측하는 이진 분류 task를 pre-training에 함께 사용하여 문장 간 관계를 포착하는 text-pair representation을 학습한다.
• 통합 아키텍처(Unified Architecture): pre-training과 fine-tuning 단계에서 output layer를 제외하면 거의 동일한 architecture를 사용하며, [CLS], [SEP] 등 특수 token을 도입해 다양한 downstream task(QA, NER, MNLI 등)에 최소한의 구조 변경만으로 적용 가능하다.
• Fine-tuning 절차: pre-trained parameter로 모델을 초기화한 뒤, downstream task별 labeled data로 모든 parameter를 fine-tuning하여 task-specific model을 생성한다.

Originality

• 기존 unidirectional LM 기반 fine-tuning 접근법(OpenAI GPT)이나 얕은 concatenation 기반 feature 접근법(ELMo)과 달리, Cloze task에서 영감을 얻은 masked language model을 도입하여 모든 레이어에서 진정한 deep bidirectional representation을 pre-train하는 최초의 fine-tuning 기반 모델을 제안했다.
• next sentence prediction이라는 새로운 보조 pre-training task를 추가로 도입하여 문장 쌍 관계를 포착하는 representation을 함께 학습시켰다.
• pre-training과 fine-tuning 아키텍처를 거의 동일하게 통일함으로써, task별로 heavily-engineered된 구조 없이도 다양한 task에 범용적으로 적용 가능한 프레임워크를 제시했다.

Limitation & Further Study

• masked language model은 [MASK] token을 pre-training 시에만 사용하고 fine-tuning 시에는 등장하지 않아, pre-training과 fine-tuning 간 입력 분포 불일치(mismatch)가 발생할 수 있다.
• 각 학습 배치에서 전체 token 중 일부만 마스킹되어 예측되므로, 좌우 문맥 전체를 매 step마다 활용하는 autoregressive LM에 비해 학습 효율(convergence 속도)이 상대적으로 낮을 수 있다.
• 이후 연구에서 next sentence prediction task의 실제 기여도에 대한 재검토(예: RoBERTa 등)나 마스킹 전략 개선, 더 큰 모델·데이터로의 확장 등이 후속 과제로 남아 있다.

Evaluation

총평: BERT는 masked language model이라는 간단하지만 강력한 아이디어로 deep bidirectional pre-training을 가능케 하여 NLP 분야에 패러다임 전환을 가져온 매우 중요한 연구이며, 이후 수많은 후속 연구의 토대가 되었다.