Benchmark for evaluation and analysis of citation recommendation models

Motivation

• Known: Citation recommendation 연구는 다양한 방법론과 데이터셋을 사용하고 있으며, global과 local 시스템으로 분류된다. 기존 연구에서는 context size, 메타데이터, 다양한 neural network 아키텍처 등이 성능에 영향을 미친다는 것이 알려져 있다.
• Gap: Citation recommendation 분야에는 GLUE, SuperGLUE 같은 NLP 벤치마크와 달리 표준화된 dataset과 평가 메트릭이 부재하여, 서로 다른 연구 간 일관된 비교와 평가가 어렵다.
• Why: Citation recommendation은 학술 논문 저자들의 생산성을 높이는 실질적 응용이고, 다양한 모델과 데이터셋의 효과적 비교를 통해 이 분야의 진전을 가속화할 수 있기 때문에 중요하다.
• Approach: S2ORC와 S2AG 데이터셋으로부터 citation context, metadata, citation position, POS tagging 등 다양한 측면을 다루는 diagnostic dataset들을 생성하고, BM25를 기준 모델로 하여 Recall과 Mean Reciprocal Rank (MRR) 메트릭으로 평가한다.

Achievement

Figure 5: Citation count distribution based on fields, where

• Diagnostic dataset 생성: citation position, POS tagging, field-based distribution, publication year 등 다양한 특성을 고려한 dataset 개발
• 표준화된 평가 메트릭: Recall과 MRR을 통한 일관된 성능 평가 체계 제시
• 공개 자료: 소스 코드, diagnostic dataset, benchmark 모델을 GitHub과 Google Drive에 공개

How

Figure 2: Combined preceding POS of the citation.

• S2ORC 데이터셋에서 diagnostic dataset 추출 및 필터링
• Citation context의 위치(position), 문법 특성(POS), 학문 분야별 분포 분석
• BM25 baseline 모델을 이용한 기본 성능 평가
• Recall@k와 MRR 메트릭 적용
• 다양한 특성별 성능 비교 분석

Originality

• Citation recommendation 분야 최초의 체계적 benchmark 제안
• Diagnostic dataset을 통한 세부 특성별 분석 방법론
• Local citation recommendation 중심의 표준화된 평가 체계

Limitation & Further Study

• Scope의 제한성: local citation recommendation에만 초점을 맞추었으며, global recommendation 방법들과의 통합 평가는 부재
• 모델 평가 부족: 실제 다양한 citation recommendation 모델들(LSTM, BERT, GCN 등)에 대한 벤치마크 결과가 제시되지 않음
• 후속 연구 필요: 더 많은 모델들에 대한 실증적 평가와 분석, 도메인 특성에 따른 성능 차이 분석, 시간 기반 필터링 등 추가 diagnostic aspect 개발

Evaluation

총평: 본 논문은 citation recommendation 분야에서 오랫동안 필요로 했던 표준화된 benchmark를 제안한다는 점에서 의미가 있으나, diagnostic dataset의 생성 방법론은 제시하고 있으나 실제 여러 모델에 대한 벤치마크 결과가 부족하여 그 유용성을 실증하지 못하고 있다. 추가적으로 global과 local 방법의 통합 평가 및 더 다양한 모델에 대한 성능 비교가 필요하다.