S2ORC: The Semantic Scholar Open Research Corpus

Motivation

Known: 학술 논문은 NLP 연구에서 중요한 텍스트 도메인이며, 인용 그래프(AMiner, MAG, Semantic Scholar)와 디지털 아카이브(arXiv, PubMed)가 연구에 활용되어왔다. 기존 AAN, PubMed Central, RefSeer 등의 코퍼스는 규모가 작거나 도메인 특화적이며 기계 가독성 있는 전체 텍스트를 제공하지 않는다.
Gap: 기존 코퍼스는 충분한 규모의 구조화된 전체 텍스트와 학제 간(multi-disciplinary) 커버리지를 동시에 제공하지 못한다. 인용 맥락, 표/그림 참조, 해결된 인용 링크를 포함하는 통합 리소스가 부족하다.
Why: 학술 텍스트에 대한 대규모 구조화된 코퍼스는 요약, 언어 모델링, 개체 추출, 텍스트 분류, 파싱, 담론 분석 등 다양한 NLP 작업과 문헌 분석 연구를 가능하게 한다.
Approach: Semantic Scholar 문헌 코퍼스를 기반으로 SCIENCEPARSE와 GROBID를 사용하여 PDF에서 구조화된 데이터를 추출하고, arXiv LaTeX 소스에서 추가 구조 정보를 파싱한다. 메타데이터 통합, 오픈 액세스 식별, 논문 클러스터링, 참고문헌 링크 해결의 4단계 파이프라인을 적용한다.

Figure 1: Inline citations and references to ﬁgures and

규모와 포괄성: 81.1M 논문(메타데이터 및 초록 포함), 8.1M 오픈 액세스 전체 텍스트(PDF 파싱), 1.5M LaTeX 파싱본으로 기존 PubMed Central의 3배 이상 규모
구조화된 정보: 인라인 인용 언급(inline citations), 표/그림/수식 참조, 해결된 참고문헌 링크, 섹션 헤더, 단락 구조 등 기계 가독성 있는 주석
학제 간 커버리지: 다양한 학문 분야를 포괄(컴퓨터 과학, 물리, 수학, 생의학 등)하여 기존 도메인 특화 코퍼스의 한계 극복
공개 가용성: GitHub을 통해 공개되어 학술 커뮤니티에 기여하는 대규모 공개 자원

Figure 1: Inline citations and references to ﬁgures and

SCIENCEPARSE v3.0.0과 GROBID v0.5.5를 사용한 PDF 처리 파이프라인: 메타데이터(제목, 저자, 초록) 추출, 섹션별 본문 단락 추출, 표/그림 캡션과 방정식 추출, 인라인 인용과 참고문헌 추출
인라인 인용 후처리: 정규표현식을 사용하여 인용 스타일(BRACKET, NAME-YEAR, OTHER) 분류, 오류(false positive/negative) 수정, 괄호 인용 범위 확장([3]-[5] → [3], [4], [5])
LaTeX 소스 처리: XML 변환을 통해 본문, 섹션 헤더, 캡션, 표 표현, 방정식, 인용 및 참조 추출 (거의 완벽한 정확도)
4단계 파이프라인: (1) PDF/LaTeX 처리 → (2) 논문 클러스터당 최적 메타데이터/전체 텍스트 선택 → (3) 불충분한 메타데이터/내용 논문 필터링 → (4) 코퍼스 내 논문 클러스터 간 참고문헌 링크 해결
Semantic Scholar 기반 메타데이터 통합: 출판사, MAG, arXiv, PubMed 등 다양한 소스에서 논문 수집 및 제목 유사도/DOI 기반 클러스터링

언어 제한: 영어 논문만 포함(다국어 학술 출판물 미포함)
PDF 파싱 의존성: GROBID의 인식 오류(인용 오검출/미검출)에 의존하며, 복잡한 레이아웃의 논문에서 추출 정확도 저하 가능
LaTeX 메타데이터 품질: LaTeX 소스의 메타데이터 추출 정확도가 PDF 기반보다 낮아 메타데이터 선택에 미사용
클러스터링 오류: 제목 유사도/DOI 기반 클러스터링의 한계로 같은 논문의 중복 클러스터 또는 다른 논문의 오병합 가능성
후속 연구: (1) 다국어 논문 포함으로 확대, (2) PDF 파싱 정확도 개선 알고리즘 개발, (3) 시간에 따른 코퍼스 동적 갱신 메커니즘, (4) LaTeX 메타데이터 추출 개선