Prompt to be consistent is better than self-consistent? Few-shot and zero-shot fact verification with pre-trained language models

Motivation

Known: 사전학습 언어모델은 자체 일관성(self-consistency)을 보이지만, 이를 다운스트림 과제에 전이하기 어렵다는 것이 실증적으로 확인됨. 또한 대규모 학습데이터 수집이 어려운 새로운 도메인(예: COVID-19)에서의 사실검증이 어려움.
Gap: 기존 few-shot 사실검증 방법들은 PLM의 암묵적 지식만 활용하거나 모델 파라미터를 업데이트하지 않아 일반화 성능이 낮음. Self-consistency 기반 방법(예: CoT)은 QA에 효과적이나 사실검증 과제에 직접 적용하기 부적절.
Why: 사실검증에서 클레임과 그 변형(확인, 부정, 불확실성)들 사이에는 자연스러운 논리적 관계가 존재함. 이를 명시적 제약조건으로 활용하면 모델의 일관성을 개선할 수 있음.
Approach: 프롬프트 템플릿 변형을 통해 클레임의 세 가지 변형(CON, NEG, UNC)을 생성하고, 이들 간의 논리적 일관성을 제약조건으로 설정한 후, T-Few 모델에 PEFT 방식으로 미세조정.

ProToCo의 아키텍처: 클레임-증거 쌍에서 프롬프트 템플릿 변형을 통해 확인(CON), 불확실성(UNC), 부정(NEG) 변형을 생성하고, (IA)3를 이용한 PEFT로 모델 일관성 학습

Few-shot 성능: 세 개의 공개 사실검증 데이터셋에서 최신 few-shot 기준선 대비 최대 30.4% 상대 F1 개선
Zero-shot 성능: 레이블 없는 인스턴스만으로도 강력한 영샘플 학습기 T0-3B를 지속적으로 상회
대규모 모델 비교: OPT-30B를 능가하고, Self-Consistency 기반 OPT-6.7B를 유의미하게 초과 (few-shot, zero-shot 모두)

입력 템플릿 T_x와 타겟 템플릿 T_y로 구성된 프롬프트 템플릿 T 정의
원본 클레임으로부터 세 가지 변형 자동 생성:
- 확인 변형(CON): "it is true that [claim]"
- 부정 변형(NEG): "it is false that [claim]"
- 불확실 변형(UNC): "it is unclear that [claim]"

사실검증 맥락의 일관성: 자체 일관성(self-consistency)이 아닌 사실성-기반 일관성(factuality-grounded consistency) 개념 도입. 클레임-증거 관계라는 도메인 특정 지식을 명시적으로 모델에 주입
프롬프트 기반 변형: 복잡한 생성 메커니즘 없이 프롬프트 템플릿 변형만으로 일관성 학습용 데이터셋 자동 구성
PEFT 결합: 프롬프트 기반 접근과 파라미터-효율적 미세조정의 조합으로 적은 학습 데이터에서 효율적 적응
일반성: 특정 도메인 특화 없이 다양한 사실검증 데이터셋(FEVER, CovidFact, SCIFACT)에 적용 가능한 일반적 프레임워크

개발셋 미사용 가정: 데이터 부족 시나리오를 반영하기 위해 개발셋을 사용하지 않음. 실제 응용에서는 하이퍼파라미터 튜닝 어려움
일관성 메커니즘의 단순성: 세 가지 변형에만 기한정. 더 복잡한 논리 관계(예: 다중 증거, 조건부 클레임)로 확장 가능성 제한
모델 크기 제약: 주로 T-Few(T5 기반) 같은 소형~중형 PLM에 초점. 매우 대규모 모델(GPT-3, GPT-4)과의 상호작용 미분석
후속 연구: (1) 다양한 논리 관계를 포함한 확장된 변형 생성, (2) 멀티홉(multi-hop) 사실검증으로 확장, (3) 크로스도메인 일반화 능력 강화