SciQAG: A framework for auto-generated science question answering dataset with fine-grained evaluation

Motivation

Known: 기존 과학 QA 데이터셋(SciQ, ScienceQA 등)은 주로 선택지형(MCQ) 형식의 교과서 기반 문제로 구성되어 있으며, 크라우드소싱/전문가 주석에 의존하여 비용이 높다.
Gap: (1) 문제 형식의 다양성 부족 (2) 실제 연구 수준의 어려운 문제 부족 (3) 고가의 인적 주석 의존성
Why: 과학 LLM의 미세조정과 평가를 위해서는 대규모의 고품질 과학 QA 쌍이 필수적이다. 특히 개방형 질문(open-ended question)은 모델의 추론 능력을 더 강하게 검증할 수 있다.
Approach: LLM 기반 QA 생성기(Generator)와 5차원 평가 지표(RACAR: Relevance, Agnosticism, Completeness, Accuracy, Reasonableness)를 갖춘 QA 평가기(Evaluator)로 구성된 자동화 프레임워크를 개발하여 비용 효율적인 대규모 데이터셋 구축을 추구한다.

GPT-4 점수와 전문가 주석 점수 간의 Spearman/Pearson 상관계수

대규모 고품질 데이터셋 구축: 22,743개 과학 논문에서 188,042개의 QA 쌍을 생성하고, SciQAG-24D 벤치마크 구성 (24개 과학 분야 커버)
신뢰성 있는 평가 지표 개발: RACAR 지표와 GPT-4 기반 자동 평가가 도메인 전문가 평가와 높은 상관계수(Spearman/Pearson > 0.7)를 보임으로써 자동화 평가의 타당성 검증
미세조정 효과 입증: SciQAG 데이터셋으로 미세조정한 LLM이 (a) 미지의 SciQAG 테스트 셋, (b) SciQ 벤치마크, (c) 실제 과학 과제 에서 모두 성능 향상을 시현

QA 생성기(Generator):
- 입력: 과학 논문 텍스트
- 프로세스: (1) 15개 핵심 키워드 추출 → (2) 키워드를 기반으로 10개 QA 쌍 생성
- 폐쇄형(closed-book) QA 요구: 생성된 질문이 원문의 도표/그림에 의존하지 않도록 프롬프트 설계
QA 평가기(Evaluator):
- 5차원 평가 지표(RACAR) 정의 및 GPT-4 기반 자동 평가 시스템 구축
- 도메인 전문가 수동 평가를 통한 검증 (상관계수 > 0.7)
- 낮은 품질 QA 쌍 필터링
미세조정 전략:
- 개방형 또는 폐쇄형 LLM 모두 사용 가능 (프롬프팅 또는 미세조정)
- 비용 효율성을 위해 오픈소스 LLM 미세조정 선택

자동 생성 + 평가의 통합 프레임워크: 기존 자동 QA 생성 방법은 사전 정의된 답변에 의존하거나 규칙 기반(지식 그래프 필요)이었으나, 본 논문은 미정의 답변으로부터 개방형 QA를 직접 생성
폐쇄형 개방형 QA 집중: 기존 과학 QA 데이터셋 대부분이 선택지형(MCQ)이거나 제한된 도메인(AI, 생의학)이었으나, 본 논문은 24개 과학 분야의 개방형 QA를 대규모로 생성
5차원 평가 지표(RACAR): HoneyBee의 평가 메트릭을 확장하여 과학 QA 특화 평가 프레임워크 개발 및 GPT-4 기반 자동 평가의 타당성 입증
공개 자산: 데이터셋, 미세조정 모델, 평가 코드를 모두 공개하여 연구 재현성과 커뮤니티 확산 지원

생성 품질의 의존성: QA 생성 품질이 초기 프롬프트 설계와 LLM 선택에 크게 의존하며, 생성 후 평가 필터링만으로는 근본적인 오류 완전히 제거 불가
평가 지표의 주관성: RACAR 지표 자체가 여전히 LLM(GPT-4) 기반이므로, 도메인 특수 오류나 과학적 미묘한 차이를 완전히 포착하지 못할 가능성
도메인 불균형: 24개 과학 분야 간 데이터 분포가 균등하지 않을 수 있으며, 특정 분야(예: 물리, 화학)에 편중되었을 가능성
후속 연구:
- 다양한 LLM 아키텍처(open-source vs. closed-source)에 따른 생성 품질 비교 연구
- 인간-LLM 협업 주석(hybrid annotation) 전략 탐색
- 과학 도메인 특화 평가 지표 개발
- 생성된 QA의 다양성/난이도 분포 분석 및 최적화