Asking the Right Question: Epistemic Inquiry as a Learnable Reasoning Skill for Scientific Discovery

Motivation

• Known: Chain-of-thought prompting과 그 확장(self-consistency, test-time-compute scaling, RL 기반 장기 추론 모델)은 더 많은 중간 토큰을 탐색함으로써 추론 성능을 향상시켜 왔다. Self-Ask, Reflexion, ReAct 등 일부 연구는 질문 생성을 추론 시점의 휴리스틱으로 활용했고, 별도 연구 흐름은 모델이 사용자에게 명료화 질문을 하도록 훈련시켰다.
• Gap: 기존 연구들은 질문 생성을 최종 태스크 정확도와 독립적으로 지도되고 여러 도메인에 걸쳐 평가되는 전이 가능한 추론 능력으로 다루지 않았으며, 모델이 부족한 정보를 스스로 식별하는 능력 자체를 별도의 학습 가능한 스킬로 취급하지 않았다.
• Why: 진정한 AI co-scientist가 되려면 단순히 정답을 내는 것을 넘어, 자신의 지식 공백을 인간 전문가가 다룰 수 있는 형태로 명확히 표현할 수 있어야 하며, 이는 과학적 파트너십의 핵심 역량이다.
• Approach: 모델이 최종 해답을 시도하기 전에 목표 지향적인 인식론적(epistemic) 질문 목록을 먼저 생성하고 선택적으로 답하도록 하는 프롬프팅 및 훈련 프레임워크인 CoQ를 제안하며, 이 질문 체인을 추론 시 스캐폴드, 잠재 지도 신호, 도메인 간 전이 객체, 라우팅 단위 등 여러 역할로 활용한다.

Achievement

1. CoQ 프레임워크 제안: 인식론적 질문 체인이라는 단일 아티팩트가 추론 시 스캐폴드, 잠재 지도 신호, 교차 도메인 전이 객체, 라우팅 단위 등 여러 역할을 수행함을 보이는 잠재변수 형식화를 제공한다.
2. 추론 시점 성능 향상: 수학, 과학, 코딩 벤치마크 전반에서 CoQ 프롬프팅이 동일 토큰 예산의 CoT 프롬프팅보다 일관되게 우수하며, 특히 과제의 병목이 절차 실행이 아니라 누락 정보 식별인 경우 더 신뢰성 있는 향상을 보인다.
3. 훈련 시점 전이 증거: teacher 모델이 합성한 질문 분해로 훈련된 모델이 학습하지 않은 도메인(화학)에서도 성능이 향상되며(+11.02pp, +8.75pp), 적응형 questioner 훈련이 고정된 CoQ 스캐폴드 대비 +8.33pp 개선을 가져온다.
4. 메커니즘적 증거: oracle-answer ablation으로 질문하기 자체, 질문 품질, 답변 가치의 기여를 분리하고, 질문 단위 cascade 라우터가 CoT 단계 라우팅과 동일한 정확도를 유지하면서 강한 티어로의 escalation을 40% 줄임을 보인다.

How

• 문제 해결 전에 모델이 targeted epistemic question 목록을 생성하고 선택적으로 이를 답변하는 CoQ 인터페이스를 정의
• 과학, 화학, 수학, 코딩 벤치마크에서 다양한 모델 매트릭스에 걸쳐 CoQ와 CoT를 매치된 토큰 예산으로 비교
• 강한 teacher 모델이 합성한 질문 분해를 latent supervision 신호로 사용하여 한 도메인에서 훈련한 모델을 보류(held-out)된 화학 타겟에 전이 평가
• 부분 해답의 마스킹된 단계를 가장 잘 복구하는 질문을 하도록 훈련하는 커리큘럼과 adaptive questioner 훈련 실시
• oracle-answer ablation과 question-level cascade router를 통한 메커니즘적, 비용 인지적 분석 수행

Originality

• 질문 생성을 단순 추론 시점 휴리스틱이나 사용자 대상 명료화 도구가 아니라, 최종 태스크 정확도와 독립적으로 지도되고 도메인 간 전이가 가능한 별도의 학습 가능한 추론 스킬로 재정의
• 질문 체인이라는 단일 인터페이스가 프롬프팅 스캐폴드, 잠재 지도 신호, 전이 객체, 비용 인지 라우팅 단위라는 다중 역할을 수행함을 통합적으로 보임
• CoT 샘플링 및 latent-thought reasoning과 연결되는 잠재변수 형식화 제시

Limitation & Further Study

• 화학 도메인으로의 전이만 구체적으로 검증되었으며, 다른 다양한 과학 분야로의 일반화 가능성은 추가 검증이 필요
• teacher 모델에 의한 질문 분해 합성에 의존하므로 teacher의 질의 품질이 학생 모델 성능의 상한을 제한할 가능성
• 실제 인간 전문가와의 상호작용을 통한 지식 공백 해소 시나리오는 시뮬레이션 수준에 그쳐 실제 co-scientist 배치 환경에서의 검증이 부족
• 후속 연구로 더 다양한 도메인 및 실제 인간-AI 협업 루프에서의 평가, 그리고 질문 품질 자체를 평가하는 지표 개발이 필요

Evaluation

총평: 질문하는 능력을 답변 능력과 분리된 학습 가능한 추론 스킬로 정식화하고 이를 다각도(추론시, 훈련시, 메커니즘적)로 실증한 점에서 참신하고 의미 있는 기여이나, 화학 이외 도메인으로의 전이 일반화와 실제 인간-AI 협업 검증이 더 필요하다.