Position: Assumption Search, Not Proof Search: AI Assistance for Theory-Oriented Social Science

Motivation

• Known: AlphaProof, AlphaGeometry, FunSearch, Aletheia 등 최근 AI-for-math 시스템들은 Lean과 같은 formal theorem prover나 systematic evaluator 등 strong verifier가 존재하는 환경에서 proof search를 통해 뛰어난 성과를 거두었으며, 이러한 접근이 전문 수학 연구, 나아가 경제학·물리학 등 이론적 문제로도 확장되고 있음이 보고되어 있다.
• Gap: 기존 연구들은 LLM이 경제학 연구에서 글쓰기 보조를 넘어 이론적 도출, 연구 설계, 비판적 피드백 등으로 활용 범위를 넓히고 있다는 점(Korinek 등)과, 연구 프론티어에 가까워질수록 discipline-specific judgment가 병목이 된다는 점(EconNLI 등)을 보여주지만, proof-centric AI-for-math 패러다임이 이론 지향적 사회과학의 근본적으로 다른 문제 구조(고정된 명제에서 증명 기법을 탐색하는 것이 아니라, 목표 현상·직관·서사에서 출발해 이를 정합적이고 설득력 있게 만드는 가정을 탐색하는 구조)에 왜, 그리고 어떻게 적합하지 않은지를 명시적으로 이론화하지 않았다는 갭이 존재한다.
• Why: 경제학을 포함한 이론 지향적 사회과학은 상당한 수학적 도출과 증명을 포함하지만 strong verifier가 부재하여, proof search에 최적화된 AI 시스템 설계를 그대로 적용하면 정작 병목인 가정의 정합성·의미성·학문적 수용가능성 판단을 지원하지 못할 위험이 있으므로, 이 구분은 향후 AI-for-research 시스템 설계 방향을 근본적으로 좌우한다.
• Approach: 저자들은 수학 vs 이론경제학의 연구 구조를 대비하는 개념적 논증을 전개하고, human-in-the-loop 워크플로우 설계 원칙을 제시한 뒤 Adrasteia라는 구체적 시스템 인스턴스와 제한적 경험적 증거를 예시적 뒷받침으로 제공한다.

Achievement

Figure 1. Illustrative workflow instantiation. Inner proposal–

1. 핵심 구분 제시: proof search(강한 외부 검증 하의 증명 탐색)와 assumption search(약한 외부 검증 하의 가정·메커니즘·경계조건·해석 탐색)를 명확히 구분하여 이론 지향적 사회과학의 연구 병목을 재규정했다.
2. 설계 원칙 도출: AI 보조가 proof-centric 자동화가 아니라 problem framing, assumption proposal, verification, branching, scholarly adjudication을 지원하는 human-in-the-loop 워크플로우를 중심으로 조직되어야 한다는 설계 원칙을 제안했다.
3. 문헌 종합을 통한 근거 축적: 경제학에서의 LLM 활용이 글쓰기 보조를 넘어 이론적 추론·연구설계로 확장되었으나(Claim 1), 연구자 vs 에이전트 역할이 분화되었고(Claim 2), 연구 프론티어에서는 discipline-specific judgment가 병목이 된다는(Claim 3) 세 가지 보조 주장을 통해 포지션을 뒷받침했다.
4. 구체적 인스턴스화: Adrasteia를 통해 제안된 워크플로우 철학을 실제 시스템으로 예시하고, 제한적이나마 경험적 증거를 제공했다.

How

Figure 1. Illustrative workflow instantiation. Inner proposal–

• 수학(AlphaProof, AlphaGeometry, FunSearch, Aletheia 등)의 성공 사례를 검토하여 이들의 공통 요소가 strong evaluator/formal check/명확한 성공 기준의 존재임을 도출
• 이론경제학의 연구 과정이 고정 명제에서 증명 기법을 탐색하는 것이 아니라 목표 현상·메커니즘 직관에서 출발해 정합적 가정을 역으로 탐색하는 구조임을 대비 서술
• 경제학·인접 사회과학에서의 LLM 활용 문헌(Korinek, EconNLI 등)을 세 가지 Claim으로 종합해 포지션을 지지하는 간접 증거로 활용
• Adrasteia를 통한 illustrative workflow instantiation(Figure 1)을 제시하여 problem framing부터 scholarly adjudication까지의 proposal-verification 루프를 구체화
• 이후 섹션(2~7)에서 포지션의 함의, 대안적 관점과 범위 조건, 예시적 실증 지지, 결론을 순차적으로 전개하는 로드맵 구조 채택

Originality

• AI-for-math 패러다임과 이론 지향적 사회과학 연구 방법론을 직접 대조하여 "assumption search vs proof search"라는 새로운 개념적 프레임을 제안한 점이 독창적이다.
• 단순히 LLM 활용 사례를 나열하는 서베이가 아니라, 강한 포지션(주장)을 중심으로 기존 문헌을 재해석하고 이를 통해 시스템 설계 원칙(human-in-the-loop, scholarly adjudication)을 도출한 점에서 논증 구조가 참신하다.
• Adrasteia라는 구체적 시스템을 통해 추상적 주장을 실증적으로 예시화하려는 시도가 포지션 논문으로서는 드문 접근이다.

Limitation & Further Study

• 발췌된 부분만으로는 Adrasteia 시스템의 구체적 구현 세부사항과 "제한적 경험적 증거"의 실제 내용·규모를 확인할 수 없어 주장의 실증적 뒷받침이 얼마나 견고한지 판단하기 어렵다.
• 저자 스스로 인정하듯 경제학 중심의 논의이며 인접 이론 지향적 사회과학(사회학, 정치학 등)으로의 일반화는 조심스러운 추정에 그쳐, 다른 분야에서의 적용 가능성에 대한 근거가 부족하다.
• "약한 외부 검증"이라는 개념 자체가 정성적으로만 규정되어 있어, 이를 정량적으로 측정하거나 시스템 설계에 구체적으로 반영하는 방법론이 충분히 제시되지 않았을 가능성이 있다.
• 후속 연구로는 Adrasteia와 유사 시스템에 대한 보다 엄밀한 사용자 연구, 학문 분야별 비교 실험, scholarly adjudication을 정량적으로 평가할 벤치마크 개발 등이 필요해 보인다.

Evaluation

총평: AI-for-math의 성공 공식을 이론 지향적 사회과학에 무비판적으로 이식하려는 흐름에 대해 시의적절하고 설득력 있는 개념적 반론을 제시하는 포지션 논문으로, workshop 발표 논문으로서 논증의 참신성과 실용적 함의가 크지만 실증적 뒷받침의 깊이는 발췌본만으로는 제한적으로 보인다.