Adversarial Fast-Moving Real-World Domains as Test Beds For Benchmarking AI Scientist Capabilities

Motivation

• Known: 기존 AI scientist 벤치마크(DiscoveryBench, HypoBench, PaperBench, ScienceAgentBench)는 과학적 추론, 가설 생성, 연구 재현 능력을 평가하는 데 진전을 이루었으며, forecasting 벤치마크는 사전 등록된 질문에 대한 시점 이후 결과 예측을 평가한다.
• Gap: 그러나 기존 벤치마크는 synthetic task나 retrospective target에 의존하여 모델의 사전 노출(prior exposure)에 의해 결과가 오염될 수 있고, 개방형(open-ended) 실세계 도메인에서의 prospective novelty를 직접 검증하지 못한다는 한계가 있다.
• Why: AI scientist가 실제로 연구 프론티어를 자율적으로 진전시키려면 진정한 novelty를 판별할 수 있어야 하는데, 이를 오염 없이 검증할 방법이 부재했다는 점에서 본 연구의 프레임워크는 AI scientist 평가 방법론의 공백을 메운다.
• Approach: 전문가들이 경쟁적으로 독립적인 산출물을 생성하는 실세계 adversarial 도메인(F1, MTG)에서 information cutoff 이전 자료만 모델에 제공하고, cutoff 이후 공개된 전문가 결과물과 비교하는 time-delayed generation task로 AI scientist의 역량을 평가한다.

Achievement

Figure 3. Per-model coverage of the 19 new cards present in any

1. 프레임워크 제안: 정보 cutoff, 제약된 설계 공간, adversarial 경쟁, 관측 가능한 사후 산출물이라는 4가지 조건을 만족하는 도메인을 AI scientist 벤치마크로 활용하는 일반 프레임워크를 제안했다.
2. 두 도메인 실증: F1 2026 신규 기술 규정 하의 차량 설계 아이디어 생성과 MTG Lorwyn Eclipsed 세트의 덱 구성이라는 구조적으로 상이한 두 도메인에서 proof of concept을 구현했다.
3. 정량적 결과 도출: F1에서는 GPT-5.2가 166개 아이디어 중 40개 실제 혁신 중 10개를 매칭했고, MTG에서는 Gemini 3 Flash가 3위 PT 덱의 신규 카드 7장 중 5장을 회복했으며, 108개 생성 덱 전반에서 모델이 자주 선택한 카드와 PT 덱들이 실제로 채택한 카드 빈도 간 Spearman r = 0.74 (p = 0.0003)의 유의한 상관을 발견했다.
4. 실패 모드 규명: 그럴듯하지만 실제와 어긋나는(plausible-but-misaligned) 아이디어 생성과, 복잡한 주변 맥락에서 발생하는 가치 판단의 체계적 사각지대(blind spot)라는 AI scientist의 핵심 실패 유형을 식별했다.

How

Figure 2. Fraction of new cards from each generated deck’s closest

• 도메인 선정 기준 4가지: 제약되었지만 non-trivial한 설계 공간, adversarial한 전문가 경쟁 구조, 공개적으로 관측 가능한 사후 산출물, 명확한 정보 cutoff를 만족하는 두 도메인(F1, MTG)을 선택
• F1 도메인: 264페이지 FIA 2026 Section C 기술 규정 문서를 corpus로 사용, 3-agent 파이프라인(agent 1: 성능 목표 생성, agent 2: 규정 매핑 및 5가지 loophole 카테고리 태깅, agent 3: 약 15개 차량 설계 아이디어 생성)을 통해 아이디어를 생성하고 40개의 실제 F1 사전 시즌 혁신과 비교
• MTG 도메인: 267개 신규 카드와 4,168개 기존 Standard-legal 카드를 corpus로 사용, 3-agent 파이프라인(agent 1: 카드 라벨링(STAPLE/ROLE PLAYER/BUILD AROUND/UNPLAYABLE), agent 2: 숏리스트 및 전략 노트 생성, agent 3: 덱 생성)을 통해 토너먼트 레벨 덱을 구성, 19개 Pro Tour 덱리스트와 비교
• 평가 축: outcome similarity(전문가 혁신과의 일치 여부)와 intrinsic quality(규정 준수 및 타당성)의 두 축으로 평가

Originality

• 기존 벤치마크가 갖는 data contamination 및 retrospective target 문제를 해결하기 위해, 전문가들이 경쟁적으로 독립 생성한 실세계 산출물을 시간 지연(time-delayed) ground truth로 활용하는 새로운 벤치마크 설계 철학을 제시
• Forecasting 벤치마크와 달리 사전 정의된 질문에 대한 확률적 예측이 아닌, 개방형 아이디어 생성(open-ended ideation)을 실세계 전문가 참조 집합과 비교하는 구조를 취함
• F1과 MTG라는 이질적이고 흥미로운 두 실제 경쟁 도메인을 선택해 프레임워크의 범용성을 보여줌
• 3-agent 파이프라인을 통해 전략적 의도, 기술적 분석, 생성이라는 세 역량을 분리하여 평가 가능하게 설계

Limitation & Further Study

• 도메인이 F1과 MTG 두 가지로 제한적이며, 두 사례 모두 특정 시점의 규정/세트 변경이라는 일회성 이벤트에 의존하므로 일반화 가능성 및 재현성에 한계가 있음
• ground truth 자체가 curated된 공개 분석 자료(F1의 경우 40개 혁신)에 의존하므로, 전문가들의 실제 발상 전체를 포괄하지 못할 가능성이 있음
• LLM-judge를 활용한 규정 준수 검증(Figure 5) 등 자동 평가 파이프라인의 신뢰성에 대한 추가 검증이 필요함
• 향후 연구로 더 많은 adversarial 도메인(예: 다른 스포츠, 게임, 산업 설계 분야)으로 프레임워크를 확장하고, 모델의 filtering·prioritization 능력을 개선하는 방법론적 연구가 필요함

Evaluation

총평: AI scientist의 novelty와 아이디어 생성 능력을 오염 없이 검증하기 위한 참신하고 실용적인 벤치마킹 프레임워크를 제시했으며, 아이디어 생성 자체보다 필터링과 우선순위화가 핵심 병목임을 밝힌 흥미로운 워크숍 논문이다. 다만 두 도메인의 사례 수가 적고 일회성 이벤트에 의존한다는 점에서 추가적인 확장과 검증이 필요하다.