SciPredict: Can LLMs Predict the Outcomes of Scientific Experiments in Natural Sciences?

Motivation

• Known: 기존 벤치마크들은 LLM의 과학 지식 및 추론 능력, 문헌 검토, 논문 작성, 방법론 재현, 가설 생성 등을 평가해왔으며 LLM이 과학 QA 과제에서 강한 성능을 보인다는 것이 알려져 있다.
• Gap: LLM이 실제 물리적 실험을 수행하기 전에 그 결과를 정확히 예측할 수 있는 능력, 그리고 그 예측이 신뢰할 만한지 스스로 판단(calibration)할 수 있는 능력에 대한 평가는 거의 이루어지지 않았다.
• Why: 실험 결과를 사전에 신뢰성 있게 예측할 수 있다면 비용이 많이 드는 물리적 실험 전에 유망하지 않은 방향을 걸러내어 과학적 발견을 가속화할 수 있으며, 이는 AI가 인간을 능가할 잠재력이 있는 영역이기 때문이다.
• Approach: 2025년 3월 31일 이후 발표된 33개 세부 분야의 실증 연구에서 405개의 실험 결과 예측 과제(MCQ, free-form, numerical)를 전문가가 직접 추출·큐레이션하고, 이를 바탕으로 15개 SOTA LLM과 인간 전문가의 예측 정확도 및 신뢰도 보정(calibration)을 비교 평가하였다.

Achievement

Figure 1. Key findings of SciPredict. Frontier models exhibit fundamental gaps in accuracy and calibration robustness in

1. 성능 격차 규명: SOTA 모델의 예측 정확도는 14-26%, 인간 전문가는 약 20%로, 일부 최전선 모델이 인간을 능가하지만 신뢰할 만한 실험 지침을 제공하기엔 여전히 크게 부족함을 보였다.
2. 모델의 보정 실패 발견: 모델은 자기보고 신뢰도(confidence)나 실현가능성(feasibility) 판단과 무관하게 항상 약 20%의 정확도에 머물러, 신뢰할 수 있는 예측과 그렇지 않은 예측을 구분하지 못함을 밝혔다.
3. 인간 전문가의 강한 보정 능력 입증: 인간 전문가는 예측 실현가능성 평가에 따라 정확도가 약 5%에서 약 80%까지 증가하는 강한 calibration을 보여, 모델과 대조되는 인간의 메타인지 능력을 확인했다.
4. 배경지식 효과 분석: 전문가가 큐레이션한 배경지식(BK)은 평균 약 3% 정확도 향상을 가져온 반면, 모델 스스로 생성한 배경지식은 오히려 성능을 저하시키는 경향이 있음을 발견했다.
5. 대규모 고품질 벤치마크 구축: 데이터 오염을 피하기 위해 2025년 3월 이후 논문에서 다단계 전문가 검토를 거쳐 405개 과제를 구축했으며, 이 과정에 $336k 비용과 7,380 전문가 시간이 투입되었다.

How

Figure 3. SciPredict curation pipeline. The benchmark construc-

• 2025년 3월 31일 이후 발표된 논문(모델 사전학습 cutoff 이후)에서 물리(9개 하위분야), 화학(10개), 생물(14개) 세부분야를 아우르는 405개 과제 추출
• 각 과제에 대해 도메인 전문가가 실험 설정, 측정치, 실증 결과, 선행 문헌 기반 배경지식을 정리
• 질문 형식을 MCQ, free-form(FF), numerical(NUM) 세 가지로 구성해 서로 다른 과학적 추론 능력을 포착
• free-form 문항에는 1-10개의 전문가 작성 루브릭을, MCQ·NUM 문항에는 정답 선택지 또는 허용 수치 범위를 정답 라벨로 제공
• 각 과제에 대해 다단계 전문가 검토 프로세스를 적용해 품질 보증
• No Background Knowledge(NBK), Expert Background Knowledge(BK), 모델 자체 생성 배경지식 등 다양한 조건에서 15개 SOTA LLM(Claude Opus 4.5, GPT-5.2, Gemini 3 Pro, Llama 3.3 70B, Qwen 3 235B 등)과 인간 전문가를 평가
• 모델과 인간 모두에게 confidence 및 feasibility 점수를 함께 보고하도록 요구해 calibration 분석

Originality

• 기존 벤치마크가 지식 회상, 문헌 요약, 계산 재현, 가설 생성에 초점을 맞춘 것과 달리, 실제 물리적 실험 결과 자체를 예측하는 과제를 최초로 체계화
• 데이터 누출을 원천 차단하기 위해 모델 cutoff 이후 발표된 최신 실증 연구만을 사용한 점
• 정확도뿐 아니라 예측의 신뢰도 인식(confidence, feasibility)까지 별도로 평가하여 "예측 정확도"와 "예측 신뢰성 인식"을 분리해 측정하는 이중 평가 프레임워크 제시
• MCQ, free-form, numerical의 세 가지 문항 형식을 혼합해 다각도로 모델 능력을 포착

Limitation & Further Study

• 정확도가 14-26% 수준으로 여전히 낮아, 벤치마크가 모델 간 미세한 차이를 얼마나 유의미하게 구분하는지에 대한 통계적 검증(신뢰구간, 유의성 검정)이 본문 발췌에서는 명확히 드러나지 않음
• 405개 과제, 33개 하위분야로 각 분야별 표본 수가 제한적일 수 있어 도메인별 결과(Fig 1(d))의 일반화 가능성에 한계가 있을 수 있음
• 인간 전문가 평가군의 규모, 전문성 수준, 선정 기준에 대한 상세 정보가 발췌에 부족하여 인간-모델 비교의 공정성 검증이 필요
• 향후 연구로는 모델의 배경지식 생성 능력을 개선하는 기법이나, calibration을 향상시키는 훈련/프롬프팅 기법에 대한 탐구가 필요해 보임
• 벤치마크가 물리, 화학, 생물학에 국한되어 있어 다른 과학 분야(예: 지구과학, 공학)로의 확장 여부는 후속 과제로 남음

Evaluation

총평: 과학적 발견 가속화라는 중요한 문제에 대해 실험 결과 예측이라는 새로운 평가 축을 제시하고, 모델의 정확도뿐 아니라 신뢰도 인식 능력의 근본적 한계를 실증적으로 밝힌 의미 있는 벤치마크 연구이다. 다만 낮은 절대 정확도 수준에서의 통계적 견고성과 인간 평가자 구성에 대한 세부 정보가 추가로 뒷받침되면 더욱 설득력이 강화될 것이다.