CiteCheck: Retrieval-Grounded Detection of LLM Citation Hallucinations in Scientific Text

Motivation

• Known: LLM은 생성하는 인용이 그럴듯해 보이지만 메타데이터 손상이나 존재하지 않는 논문을 가리킬 수 있다는 점이 알려져 있으며, 학술 메타데이터 서비스(CrossRef, Semantic Scholar 등)가 표준 인프라로 존재한다.
• Gap: 기존 연구들은 인용 존재성(Abbonato 2026) 또는 주장 지원(FACTSCORE 등)에만 초점을 맞추었으나, 인용 존재성과 메타데이터 충실성을 함께 다루고 중증도(Exact/Minor/Major)를 구분하는 통합 평가 중심 파이프라인이 부족했다.
• Why: 과학 문헌에서 인용 오류는 단순 형식 오류가 아니라 독자 오도, 출처 불명확, 신용 왜곡, 재현성 약화를 초래하므로, LLM이 생성한 내용의 대규모 인용 오류를 신뢰성 있게 검증하는 도구가 필수적이다.
• Approach: 원본 인용 문자열을 구조화된 메타데이터(제목, 저자, 연도, URL, DOI 등)로 파싱하고, 검색 캐스케이드(CrossRef → Semantic Scholar → OpenAlex → arXiv → 웹 검색)로 후보 논문을 검색한 후, 구조화된 LLM verifier가 인용을 후보와 비교하여 0-10 점수를 할당하고, 임계값 규칙으로 Exact/Minor/Major 레이블로 매핑한다.

Achievement

Figure 1: The CITECHECK pipeline. A raw citation string is first parsed into structured metadata, then matched against

주요 성과:

1. 벤치마크 구성: 미묘한 메타데이터 드리프트와 완전한 사기 참고문헌을 포함한 제어된 부패를 갖춘 982개 인용 물리학 벤치마크 구축
2. 최고 성능: 테스트 셋에서 88.7% macro-F1, 88.9% 정확도로 GPT/Claude/Gemini(웹 검색, few-shot 포함)를 능가
3. Zero-shot 효율성: 모델이 zero-shot이면서도 가장 강한 few-shot LLM 베이스라인을 5.8 macro-F1 포인트, 5.7 정확도 포인트 상회
4. 방법론 타당성: 검색과 검증의 분리, 구조화된 비교, 자동 수정을 포함한 통합 파이프라인의 유효성 입증

How

Figure 1: The CITECHECK pipeline. A raw citation string is first parsed into structured metadata, then matched against

• 메타데이터 추출: 규칙 기반 파서로 인용 문자열을 구조화된 필드로 변환, LLM 파서는 실패 시에만 사용
• 검색 캐스케이드: CrossRef, Semantic Scholar, OpenAlex, arXiv, 웹 검색을 순차적으로 활용하여 후보 논문 검색
• LLM 기반 검증: 구조화된 프롬프트로 인용과 검색된 후보를 비교하여 0-10 점수 할당
• 임계값 기반 분류: 점수를 Exact(7.25-10), Minor(1.25-7.25), Major(0-1.25)로 매핑
• Reviewer LLM 패스: 식별자 일치가 의심스러울 때 이차 검증 수행

Originality

• 세분화된 분류: 단순 존재/부존재가 아닌 Exact/Minor/Major 삼진 분류로 오류 중증도 구분
• 검색-검증 분리: LLM이 직접 판단하도록 하는 기존 방식에서 벗어나 외부 학술 검색을 활용한 그라운드된 검증
• 제어된 벤치마크: 미묘한 메타데이터 드리프트와 완전한 사기 참고문헌을 모두 포함하는 실제 물리학 인용 기반의 체계적 벤치마크 구축
• 통합 파이프라인: 파싱, 검색, 검증, 이차 검증을 단일 평가 중심 시스템으로 통합

Limitation & Further Study

• 도메인 제한: 물리학 벤치마크만 구축되어 다른 과학 분야(생물학, 화학, 의학 등)에서의 성능 불명확
• 검색 의존성: CrossRef, Semantic Scholar 등 외부 학술 메타데이터 서비스의 완결성에 의존하므로 대안 또는 독립형 인용 검증 방식 미탐구
• 웹 검색 활용 미흡: 파이프라인에 웹 검색이 포함되어 있으나 베이스라인 비교에서 web-search LLM의 성능이 상세히 제시되지 않음
• 해석 가능성: LLM verifier의 점수 할당 논리와 임계값 선택의 근거에 대한 분석 부족
• 후속 연구: 다른 인용 형식, 비영어 과학 문헌, 시간 경과에 따른 메타데이터 변화 등을 다루지 않음

Evaluation

총평: CiteCheck는 LLM 생성 과학 문헌의 인용 오류 탐지에 대한 실질적이고 시의적절한 해결책을 제시한다. 학술 검색과 구조화된 LLM 검증을 결합한 방법론은 sound하며, 제어된 벤치마크에서 강한 성능을 보인다. 그러나 도메인 일반화, 검색 인프라 의존성, 이차 검증 논리의 투명성 측면에서 개선의 여지가 있다.