Scidqa: A deep reading comprehension dataset over scientific papers

Motivation

• Known: 기존 scientific QA 데이터셋들(QASPER, COVID-QA, PubMedQA 등)은 주로 제목·초록에서 추출하거나 합성 질문을 사용하며, 표면 수준의 정보 추출에 집중한다. 따라서 심층적 이해와 배경 지식을 필요로 하는 과학 논문 읽기 이해는 제한적으로 다루어져 왔다.
• Gap: 기존 scientific QA 데이터셋은 논문 전체 텍스트가 아닌 제목·초록으로만 질문을 생성하거나, 합성 데이터를 사용하여 표면 수준의 정보 추출만 평가한다. 따라서 복잡한 과학 논문의 깊이 있는 이해, 다중 문서 추론, 그리고 그림·표·수식 등 다양한 모달리티를 포함한 종합적 이해 능력 평가가 필요하다.
• Why: 과학 문헌은 밀도 높은 내용과 복잡한 논리 구조를 가지고 있어, LLM이 진정한 이해 능력을 갖추었는지 평가하기 위해서는 표면적 사실 추출을 넘어 심층적 추론을 요구하는 데이터셋이 필수적이다. 피어 리뷰 기반의 자연스러운 질문들은 domain experts 간의 실제 상호작용을 반영하므로 이러한 평가에 더욱 타당하다.
• Approach: OpenReview의 ICLR(2018-2022)과 NeurIPS(2021-2022) 논문들로부터 Nougat을 이용한 PDF-to-text 변환, regex 기반 리뷰-저자 토론 추출, PaLM API를 통한 자동 QA 추출을 수행한다. 이후 domain experts에 의한 수작업 검증(관련성 판단, 삼인칭 시점 재작성, 참고문헌 정규화)을 거쳐 최종 2,937개 QA 쌍을 선별한다. 여러 LLM(open-source 및 proprietary)을 다양한 설정(closed-book, retrieval-based, long-context)으로 평가한다.

Achievement

Figure 2: Dataset curation pipeline for SCIDQA. LLM-

데이터셋 구축: 피어 리뷰 기반 자연 파생 QA 쌍 2,937개 구성, 기존 데이터셋 대비 평균 질문 길이 23.92 단어, 답변 길이 104.67 단어로 상당히 길고 복잡함 / 품질 관리: 7,000개 인스턴스 검토로 41% 관련성 달성, 도메인 전문가 2명이 85% inter-annotator agreement 확보 / 데이터셋 다양성: 약 11%의 질문이 다중 문서 추론 필요, 그림·표·수식 이해 포함 / LLM 평가: 여러 LLM의 성능 편차 식별 및 벤치마크 결과 제시

How

Figure 2: Dataset curation pipeline for SCIDQA. LLM-

• OpenReview 플랫폼에서 피어 리뷰-저자 토론 자동 추출 (regex 패턴 매칭)
• Nougat visual transformer를 통한 과학 논문 OCR 처리
• PaLM API 기반 다양한 질문-답변 패턴 자동 인식 및 추출
• Domain experts(NLP/ML 경험자)에 의한 다단계 수작업 검증: (1) 관련성 판단(정보 추구 질문만 선별), (2) 삼인칭 시점으로 재작성(편향 제거), (3) 참고문헌 정규화
• 폐쇄형·검색 기반·장문맥 추론 등 다양한 LLM 평가 설정
• Surface-level similarity metrics 및 LLM-based judgements를 결합한 평가

Originality

• 자연 파생 자료 활용: 기존 manual 또는 synthetic 방식과 달리 피어 리뷰라는 자연스러운 도메인 전문가 상호작용에서 질문 추출
• 심층 이해 중심 설계: 표면 정보 추출이 아닌 다중 추론(multi-document reasoning, 그림·표·수식 이해) 요구
• 엄격한 품질 관리: LLM 자동 추출 후 전문가 수작업 검증의 hybrid 접근으로 높은 품질 보장
• 삼인칭 재작성 및 맥락화: 질문을 독립적이고 명확한 형태로 변환하여 일반화 가능성 향상

Limitation & Further Study

• 데이터셋 규모 제한: 2,937개 QA 쌍으로 QASPER(5,089), PubMedQA(등)과 비교해 규모가 상대적으로 작음
• annotation 비용 제약: 모든 QA 쌍에 대한 증거 추적(evidence annotation) 미포함 언급, 심층 분석 제한
• 도메인 편향: ML/DL 특정 분야(ICLR, NeurIPS)에만 국한되어 생물학·화학 등 다른 과학 영역 미포함
• LLM 평가의 한계: LLM-based judgements 자체가 편향될 가능성, metric 신뢰도 논의 부족
• inter-annotator agreement 낮음: 85% 동의율은 부분적 동의 의미하며, 단일 annotator로 나머지 진행
• 시간적 범위 제한: ICLR은 2018-2022, NeurIPS는 2021-2022로 불균형적 수집 기간

Evaluation

총평: SCIDQA는 scientific QA 벤치마킹 분야에서 의미 있는 기여를 한다. 피어 리뷰 기반의 자연 파생 데이터, domain experts 간의 실제 상호작용, 그리고 심층 이해를 요구하는 설계가 강점이다. 다만 규모가 제한적이고 ML/DL 분야에만 국한되어 있으며, annotation 비용으로 인한 완전성 부족이 약점이다. 전반적으로 high-quality 리소스로서 과학 논문 이해 연구를 촉진할 잠재력이 충분하다.