Can Large Language Models Truly Forget Scientific Claims? A Systematic Evaluation of Claim Level Unlearning

Motivation

• Known: 기존 machine unlearning 연구는 TOFU, MUSE, WMDP, RWKU 등 벤치마크를 통해 개인정보나 저작권, 유해 지식 제거를 위한 forget-retain 패러다임을 확립했으며, gradient-based(GD), preference-based(NPO, SimNPO) 등 다양한 알고리즘이 instance-level 사실 삭제에 사용되어 왔다.
• Gap: 과학적 claim은 구조적이고 다면적이며(paraphrase, 여러 QA 형태로 표현) 상호 연결되어 있고 시간에 따라 진화하는 특성을 가지지만, 기존 unlearning 연구는 instance-level forgetting에만 초점을 맞추어 claim-level 지식이 실제로 제거되는지, 아니면 표면적 형태만 억제되는지를 체계적으로 평가하지 못했다.
• Why: 철회되거나 반박되거나 재현 불가능한 것으로 밝혀진 과학적 주장이 LLM에 내재화되어 있으면 가설 생성, 문헌 검토, claim verification 등 하위 과학 응용에서 잘못된 지식이 지속적으로 전파될 위험이 있으며, 이를 선택적으로 제거하는 능력은 신뢰할 수 있는 과학 보조 AI 구축에 필수적이다.
• Approach: 저자들은 Scientific Claim Unlearning이라는 새로운 태스크를 정의하고, 동일 claim에서 파생된 서로 다른 paraphrase 기반 forget set(F1, F2)과 두 종류의 retain set(Rext, Rint)으로 구성된 SciUnlearn 벤치마크를 구축하여, 기존 unlearning 알고리즘들이 claim-level 일반화 실패를 보이는지 체계적으로 평가한다.

Achievement

Figure 3. Failure case demonstrating the persistence of invalidated scientific knowledge in language models (OLMO-3-7B-I

1. Scientific Claim Unlearning 태스크 정식화: forget set(F1, F2)과 retain set(Rext, Rint)을 활용해 claim이 실제로 제거되었는지, 아니면 특정 QA 형태만 억제되었는지를 교차 검증하는 평가 프레임워크(Equation 1)를 제시했다.
2. SciUnlearn 벤치마크 구축: Dolma 코퍼스 기반 76개 anchor 논문에서 170개 claim, 1,072개 QA 쌍(F1/F2/Rext/Rint)을 구축했으며, LLM-as-judge와 전문가 평가 간 상관관계(weighted Cohen's kappa)를 통해 claim 추출 품질을 검증했다.
3. 기존 unlearning 알고리즘의 한계 실증: GD, NPO, NPO+RT, SimNPO 등 대표적 unlearning 방법들을 OLMo-3-7B-Instruct에 적용한 결과, 이들이 표면적 억제(surface-level suppression)에 그치고 disjoint forget set(Fj)에 대한 일반화에 실패함을 보여 claim-level unlearning이 표준 fact unlearning보다 근본적으로 더 어려움을 입증했다.

How

Figure 2. Example claim and QA in SciUnlearn dataset.

• Dolma 코퍼스(Semantic Scholar 38.8M 논문)에서 2018-2022년 오픈 액세스 컴퓨터과학 논문 100편을 샘플링
• GPT-5를 이용해 각 논문의 abstract, introduction, conclusion에서 1-5개의 paraphrase claim(총 219개) 추출
• GPT-4o를 LLM judge로 활용해 accuracy, independence, clarity 기준(0-5점)으로 claim 품질 평가, 전문가 평가와의 weighted Cohen's kappa로 검증(κacc=0.535, κind=0.674, κclr=0.734)
• 각 claim당 MCQ, T/F, FB, AR 형태로 8개씩 QA 쌍 생성(총 1,752개), OLMo-3-7B-Instruct로 exact match/ROUGE/semantic similarity(threshold 0.7) 기반 self-consistency 검증
• 최종 170개 claim, 1,072개 QA 쌍을 F1/F2(각 536개)로 분할, SPECTER2 임베딩 기반 인용 논문에서 Rext(1,060개) 구축, 동일 anchor 논문의 비-claim 맥락 정보로 Rint(418개) 구축
• OLMo-3-7B-Instruct(LoRA rank 8)에 GD, NPO, NPO+RT, SimNPO, SimNPO+RT를 F1 또는 F2에 적용해 unlearning 실험 수행

Originality

• 기존 instance-level fact unlearning과 달리, 동일한 근본 claim에서 파생된 서로 다른 paraphrase 및 QA 형태(F1, F2)를 활용해 claim-level 일반화를 정량적으로 측정하는 새로운 평가 패러다임 제시
• 과학 논문의 인용 구조를 활용해 external retain(Rext)과 internal retain(Rint)을 구분함으로써 unlearning의 국소성(locality)을 세밀하게 검증하는 벤치마크 설계
• LLM-as-judge와 전문가 평가 간 상관관계 검증을 통해 대규모 자동화된 claim 품질 평가의 신뢰성을 확보한 방법론적 기여

Limitation & Further Study

• 벤치마크가 컴퓨터과학 분야 논문에 한정되어 있어 실제로 철회되거나 반박된 논문이 아닌 임의의 논문 claim을 대상으로 하고 있어, 실제 철회 논문에 대한 일반화 가능성은 가정에 근거함
• 단일 모델(OLMo-3-7B-Instruct)과 소수의 unlearning 알고리즘(GD, NPO 계열)만 평가하여 더 다양한 모델 크기 및 최신 unlearning 기법에 대한 검증이 필요함
• claim-level 지식이 왜 표면적으로만 억제되는지에 대한 심층적 메커니즘 분석(representation-level 분석) 없이 현상 관찰에 그침
• 후속 연구로 구조화된 지식 제거에 특화된 새로운 unlearning 알고리즘 개발이 필요함을 시사함

Evaluation

총평: 과학적 claim의 구조적, 다면적 특성을 고려한 새로운 unlearning 태스크와 벤치마크를 제시하여 기존 unlearning 기법의 근본적 한계를 실증적으로 드러낸 의미 있는 연구이며, 향후 구조화된 지식 제거 알고리즘 개발의 토대를 제공한다.