Socrates: Structured Questioning Unlocks Latent Knowledge in AI Research Agents

Motivation

• Known: frontier LLM은 MMLU의 machine-learning 관련 문항에서 88% 이상의 정확도를 보이며 cross-validation, 실험 설계 등의 지식을 직접 질문받으면 정확히 답한다. 그러나 MLE-bench 같은 open-ended 자율 연구 벤치마크에서는 best agent조차 16.9%의 competition에서만 medal을 획득하는 등 성능이 크게 저조하다.
• Gap: 기존 연구는 이 실패를 지식 부족(capacity)의 문제로 다루며 self-reflection이나 multi-agent debate 등을 시도했으나, self-reflection은 외부 피드백 없이는 자기수정이 안 되고 debate는 공유된 오류로 수렴(degeneration-of-thought)하는 한계가 있었다. 또한 기존 manager-worker형 multi-agent 구조는 planner가 답이나 지시를 직접 제공하여, 성능 개선이 Scientist 자신의 parametric knowledge 활성화에서 비롯된 것인지 단순히 정보가 전달(transfer)된 것인지 구분할 수 없었다.
• Why: 지식의 활성화(activation) 자체가 자율 연구 에이전트의 핵심 병목이라는 점을 규명하면, 단순히 더 큰 모델이나 더 많은 지식 주입이 아니라 질문 구조 설계만으로 AI 연구 에이전트의 성능을 크게 개선할 수 있다는 실용적이고 저비용의 해법을 제시할 수 있다.
• Approach: tool 접근이 전혀 없고 답이나 지시를 줄 수 없는 question-only advisor가 tool-using Scientist의 실험 계획을 검토하며 질문만 던지도록 강제하여, 개선이 반드시 Scientist 자신의 잠재 지식에서 나오도록 설계했다.

Achievement

1. Kaggle test score 개선: 5개 MLE-bench 과제 중 4개에서 Socrates가 Scientist-only baseline 대비 test score를 개선했으며 평균 개선폭은 +55.9%, 최대 NFL 과제에서 +195.4%에 달했다.
2. Baseline-PI 대비 우위: 토큰 수와 상호작용 turn 수를 동일하게 맞추되 일반적인 격려만 제공하는 Baseline PI와 비교했을 때도 5개 중 4개 과제에서 Socrates가 더 우수하여, 개선의 원인이 단순한 추가 상호작용이 아니라 구조화된 질문(questioning) 자체임을 확인했다.
3. 구체적 방법론적 오류 포착: target leakage, validation set에 대한 threshold 조정(threshold-on-validation), 단일 모델군 고착(single-family fixation) 등 구체적 오류를 질문을 통해 잡아내어 일반화 성능(generalization gap)을 개선했다.
4. NFL 사례 분석: Scientist-only 에이전트는 validation MCC 0.557에서 test MCC 0.198로 붕괴했는데, 이는 classification threshold를 validation set에 직접 맞췄기 때문이며, Socrates는 이를 리뷰 과정에서 포착해 training-set-only threshold를 강제함으로써 문제를 방지했다.

How

• Outer/inner loop 구조: 세션 경계마다 Scientist의 context를 폐기하고 새 instance가 파일 시스템(코드, 결과, best_score log)을 물려받는 outer loop와, 한 세션 내에서 Scientist가 실험안을 제안하고 Socrates가 질문으로 응답하는 것을 최대 K회 반복하거나 [APPROVED]가 나올 때까지 진행하는 inner loop로 구성(Algorithm 1).
• 비대칭 메모리(asymmetric memory): Scientist는 세션마다 stateless로 초기화되어 anchoring effect를 피하고, Socrates는 모든 세션에 걸쳐 stateful하게 유지되어 논의 이력(institutional memory)을 축적한다.
• Socratic 제약: Socrates는 (i) 답 제공, (ii) 지시 발령, (iii) tool 사용을 모두 금지당하며 오직 자연어 질문으로만 상호작용한다.
• 세 가지 실험 조건 비교: Socrates(구조화된 질문), Baseline PI(토큰·turn을 맞춘 일반적 격려), Scientist-only(단일 에이전트, 상호작용 없음)를 동일한 LLM(Claude Code 기반 agent scaffold) 위에서 비교(Table 1).
• 평가 대상: Ventilator Pressure, Statoil Iceberg, Stanford COVID Vaccine, NFL Contact, Smartphone Decimeter의 5개 MLE-bench Kaggle 과제에 대해 각 조건을 6시간 실행하며 5~16회의 실험을 수행.

Originality

• 기존 manager-worker형 multi-agent 시스템이나 debate 기반 시스템과 달리, advisor가 답이나 지시를 절대 제공하지 못하고 질문만 하도록 원천 차단(tool 접근 자체도 없음)하는 구조를 설계하여 지식 전이(transfer)가 아닌 지식 활성화(activation) 효과만을 순수하게 분리해낸 최초의 시도.
• Baseline PI라는 통제 조건을 두어, 단순히 상호작용 turn·토큰 수가 늘어나서 생기는 효과와 "질문의 성격(nature of questioning)" 자체에서 오는 효과를 실험적으로 분리했다는 방법론적 독창성이 있다.
• 지식 격차(knowledge gap)가 아니라 지식 활성화 격차(activation gap)가 자율 연구 에이전트 실패의 핵심 원인이라는 프레이밍 자체가 기존 연구(주로 capacity나 hallucination에 초점)와 차별화된다.

Limitation & Further Study

• 5개 MLE-bench 과제, 3개 조건에 대한 소규모 실험(6시간 실행, 세션당 5~16개 실험)으로 결과의 통계적 유의성과 일반화 가능성이 제한적이며, 단일 LLM(Claude Code 기반) 및 단일 advisor 모델 조합에 대해서만 검증되었다.
• Ventilator 과제에서는 Baseline PI가 Socrates를 능가했는데, 이는 탐색 공간이 엄밀함(rigor)보다 반복 시도량(volume)을 보상하는 경우 구조화된 질문이 오히려 불리할 수 있음을 시사하며, 이런 경계 조건에 대한 체계적 분석이 부족하다.
• Human reviewer가 모든 로그와 대화를 수동으로 읽고 메커니즘을 분류했다는 점에서 분석 과정의 정성적·주관적 요소가 크며, 자동화된 평가 지표나 더 큰 규모의 통계적 검증이 향후 필요하다.
• Socrates advisor의 질문 생성 전략(어떤 질문이 왜 효과적인지)에 대한 세부 메커니즘 분석이 제한적이어서, 후속 연구에서 질문 유형별 효과를 정량적으로 분해할 필요가 있다.

Evaluation

총평: 지식 활성화(knowledge activation)라는 문제를 명확히 정의하고 이를 검증하기 위한 통제된 실험 설계(Baseline PI 대조군)가 인상적이며, AI 연구 에이전트의 실용적 성능 개선에 기여할 수 있는 간단하면서도 효과적인 아이디어이다. 다만 실험 규모가 작고 정성적 분석에 의존하는 부분이 많아, 더 큰 스케일과 다양한 모델·도메인에서의 추가 검증이 필요하다.