SciQAG: A framework for auto-generated science question answering dataset with fine-grained evaluation

Motivation

• Known: 기존 과학 QA 데이터셋(SciQ, ScienceQA 등)은 주로 선택지형(MCQ) 형식의 교과서 기반 문제로 구성되어 있으며, 크라우드소싱/전문가 주석에 의존하여 비용이 높다.
• Gap: (1) 문제 형식의 다양성 부족 (2) 실제 연구 수준의 어려운 문제 부족 (3) 고가의 인적 주석 의존성
• Why: 과학 LLM의 미세조정과 평가를 위해서는 대규모의 고품질 과학 QA 쌍이 필수적이다. 특히 개방형 질문(open-ended question)은 모델의 추론 능력을 더 강하게 검증할 수 있다.
• Approach: LLM 기반 QA 생성기(Generator)와 5차원 평가 지표(RACAR: Relevance, Agnosticism, Completeness, Accuracy, Reasonableness)를 갖춘 QA 평가기(Evaluator)로 구성된 자동화 프레임워크를 개발하여 비용 효율적인 대규모 데이터셋 구축을 추구한다.

Achievement

GPT-4 점수와 전문가 주석 점수 간의 Spearman/Pearson 상관계수

1. 대규모 고품질 데이터셋 구축: 22,743개 과학 논문에서 188,042개의 QA 쌍을 생성하고, SciQAG-24D 벤치마크 구성 (24개 과학 분야 커버)
2. 신뢰성 있는 평가 지표 개발: RACAR 지표와 GPT-4 기반 자동 평가가 도메인 전문가 평가와 높은 상관계수(Spearman/Pearson > 0.7)를 보임으로써 자동화 평가의 타당성 검증
3. 미세조정 효과 입증: SciQAG 데이터셋으로 미세조정한 LLM이 (a) 미지의 SciQAG 테스트 셋, (b) SciQ 벤치마크, (c) 실제 과학 과제 에서 모두 성능 향상을 시현

How

• QA 생성기(Generator):
  • 입력: 과학 논문 텍스트
  • 프로세스: (1) 15개 핵심 키워드 추출 → (2) 키워드를 기반으로 10개 QA 쌍 생성
  • 폐쇄형(closed-book) QA 요구: 생성된 질문이 원문의 도표/그림에 의존하지 않도록 프롬프트 설계
• QA 평가기(Evaluator):
  • 5차원 평가 지표(RACAR) 정의 및 GPT-4 기반 자동 평가 시스템 구축
  • 도메인 전문가 수동 평가를 통한 검증 (상관계수 > 0.7)
  • 낮은 품질 QA 쌍 필터링
• 미세조정 전략:
  • 개방형 또는 폐쇄형 LLM 모두 사용 가능 (프롬프팅 또는 미세조정)
  • 비용 효율성을 위해 오픈소스 LLM 미세조정 선택

Originality

• 자동 생성 + 평가의 통합 프레임워크: 기존 자동 QA 생성 방법은 사전 정의된 답변에 의존하거나 규칙 기반(지식 그래프 필요)이었으나, 본 논문은 미정의 답변으로부터 개방형 QA를 직접 생성
• 폐쇄형 개방형 QA 집중: 기존 과학 QA 데이터셋 대부분이 선택지형(MCQ)이거나 제한된 도메인(AI, 생의학)이었으나, 본 논문은 24개 과학 분야의 개방형 QA를 대규모로 생성
• 5차원 평가 지표(RACAR): HoneyBee의 평가 메트릭을 확장하여 과학 QA 특화 평가 프레임워크 개발 및 GPT-4 기반 자동 평가의 타당성 입증
• 공개 자산: 데이터셋, 미세조정 모델, 평가 코드를 모두 공개하여 연구 재현성과 커뮤니티 확산 지원

Limitation & Further Study

• 생성 품질의 의존성: QA 생성 품질이 초기 프롬프트 설계와 LLM 선택에 크게 의존하며, 생성 후 평가 필터링만으로는 근본적인 오류 완전히 제거 불가
• 평가 지표의 주관성: RACAR 지표 자체가 여전히 LLM(GPT-4) 기반이므로, 도메인 특수 오류나 과학적 미묘한 차이를 완전히 포착하지 못할 가능성
• 도메인 불균형: 24개 과학 분야 간 데이터 분포가 균등하지 않을 수 있으며, 특정 분야(예: 물리, 화학)에 편중되었을 가능성
• 후속 연구:
  • 다양한 LLM 아키텍처(open-source vs. closed-source)에 따른 생성 품질 비교 연구
  • 인간-LLM 협업 주석(hybrid annotation) 전략 탐색
  • 과학 도메인 특화 평가 지표 개발
  • 생성된 QA의 다양성/난이도 분포 분석 및 최적화

Evaluation

총평: SciQAG는 폐쇄형 개방형 과학 QA 자동 생성의 실질적 해결책을 제시하며, 188K 규모의 다학제 데이터셋과 신뢰성 있는 평가 프레임워크를 제공하는 점에서 가치 있는 기여이다. 다만 생성 품질 보증의 근본적 한계와 평가 지표의 LLM 의존성에 대한 추가 검증이 필요하다.