ScispaCy: Fast and Robust Models for Biomedical Natural Language Processing

Motivation

Known: NLP의 최근 진전에도 불구하고 대부분의 통계 모델은 domain shift에서 성능이 급격히 저하된다. biomedical 및 clinical 텍스트 처리는 중요하지만 robust하고 실용적인 public 모델이 부족하다.
Gap: 기존 biomedical NLP 도구들(MetaMap, GENIA tagger)은 entity recognition에만 집중하거나 최신 neural network 기반 혁신을 활용하지 않는다. comprehensive한 biomedical NLP pipeline이 필요하다.
Why: biomedical 과학 분야의 출판 증가로 인한 정보 overload 문제를 해결하기 위해 automated knowledge extraction이 필수적이고, 이를 위한 robust하고 practical한 도구가 필요하다.
Approach: spaCy 라이브러리를 기반으로 biomedical 텍스트 관련 데이터셋(GENIA 1.0, OntoNotes 5.0)으로 POS tagger, dependency parser, NER 모델을 재학습하고, tokenization 모듈을 biomedical 특성에 맞게 개선한다.

Figure 2: Unlabeled attachment score (UAS) perfor-

Universal Dependencies 변환 데이터셋 공개: GENIA 1.0 corpus를 Universal Dependencies v1.0로 변환하고 원본 PubMed 텍스트와 정렬하여 공개
경쟁력 있는 성능: POS tagging에서 98.51%, dependency parsing에서 LAS 88.79%를 달성하여 state-of-the-art와 비교 가능한 수준
뛰어난 처리 속도: 추상(abstract) 당 33ms의 처리 속도로 C++/Java 기반 도구들과 경쟁력 있는 성능 제공
Domain robustness: OntoNotes 5.0의 web 데이터를 혼합 학습하여 biomedical 성능 저하 없이 일반 텍스트에 대한 robustness 향상
9개 NER 모델 벤치마크: 더 특화된 entity 추출 작업에서 강력한 baseline들과 경쟁력 있는 성능 제시

spaCy의 arc-eager transition-based parser with dynamic oracle를 기반으로 biomedical 데이터로 재학습
CNN 기반 feature representation을 사용하여 POS tagging과 dependency parsing을 jointly 학습
GENIA 1.0 treebank를 Stanford Dependency Converter로 Universal Dependencies v1.0로 변환
OntoNotes 5.0과의 혼합 학습으로 domain shift에 대한 robustness 강화
두 가지 패키지 제공: en_core_sci_sm(작은 vocabulary, word vector 없음)과 en_core_sci_md(큰 vocabulary, 98,131개 word vector 포함)
biomedical 특화 tokenization 규칙 추가로 약물명, 화학식 등의 처리 개선