SEDRAS: Symbolically Evaluated Deep Research And Science

Motivation

• Known: 기존 benchmark들은 AI Feynman, EmpiricalBench, LSR-Transform과 같이 고정된 수치 데이터셋 기반의 symbolic regression 평가이거나, GAIA, WebArena, AgentBench, OSWorld처럼 상호작용은 가능하나 복잡도 제어나 오염 방지가 부족한 agentic benchmark이며, NewtonBench나 HypoBench는 부분적으로 절차적 복잡도 제어와 오염 저항성을 갖췄지만 단일 차원에서만 난이도를 조절할 수 있다.
• Gap: 현재 deep research benchmark는 고정 데이터셋에 의존해 데이터 오염(data contamination)에 취약하고 기존 데이터 분석에만 초점을 맞추며, 과학적 추론 benchmark는 상호작용 환경을 제공하더라도 수치 modality에 국한되거나 난이도를 하나의 차원에서만 조절할 수 있어, 다중 모달 데이터 종합과 능동적 탐구(active inquiry)를 동시에 평가할 수 있는 프레임워크가 부재하다.
• Why: LLM의 추론 능력이 빠르게 발전함에 따라 static benchmark는 데이터 오염과 능력 향상으로 금세 무용해지므로, 완전히 새로운 데이터에 대한 진정한 귀납적 일반화(inductive generalization)와 능동적 과학적 탐구 능력을 무한히 새로운 시나리오로 검증할 수 있는 확장 가능한 평가체계가 학계와 산업계 모두에 중요하다.
• Approach: UDD의 논리 구조, 표현 방식(raw/text/text long/파일 등), 상호작용 dynamics(정적/도구 기반/능동 탐색)라는 세 독립 축을 분리 설계하여 복잡도를 조합적으로 통제하고, 모델이 자연어 이론을 생성한 뒤 별도 대화에서 이를 실행 가능한 Python 코드로 변환하게 하여 ground truth UDD와 프로그램적으로 비교하는 2단계 평가 파이프라인을 구축했다.

Achievement

1. 모듈형 3축 복잡도 제어 프레임워크 제안: UDD 논리, 표현, 상호작용 dynamics를 독립적으로 조절 가능하게 설계하여 기존 단일 축 benchmark 대비 세밀한 분석이 가능하도록 함.
2. SEDRAS-2026 벤치마크 공개: 600개의 다양한 시나리오로 구성된 초기 suite를 제작해 SOTA 모델 컨텍스트 윈도우에 맞게 공개.
3. 다중 SOTA 모델 비교 분석: Gemini 3.0 Pro가 전체 최고 성능을 보였으나, GPT 5.2는 순수 symbolic 데이터, Claude Opus 4.5는 파일 작업, Grok 4.1은 UDD 복잡도 확장 시 강점을 보이는 등 모델별 특화 강점을 규명.
4. 능동 탐색 실패 발견: 모든 모델이 정보성이 높은 데이터 포인트를 식별하지 못해 random baseline보다 비효율적인 능동 탐색을 보인다는 공통 한계를 규명.

How

• UDD: 범주형/수치형 입력 변수를 Variables(선형 독립 효과)와 Rules(비선형 상호작용 및 예외)라는 두 논리적 primitive로 조합하여 논리적 깊이를 정밀하게 조절
• 표현(representation) 축: 동일 UDD 데이터를 raw, text, text long, 파일 등 다양한 형식으로 투영하여 표현 복잡도만 독립적으로 변화
• 상호작용(dynamics) 축: 정적 접근부터 도구 호출, 능동적 탐색(active exploration)까지 세 가지 상호작용 프로토콜 제공 (Figure 3)
• 평가 파이프라인: 모델이 관찰로부터 자연어 이론을 생성 → 별도 대화에서 이를 Python 함수로 변환 → representation-informed translator 모델이 이를 실행 가능한 코드로 컴파일 → ground truth UDD와 프로그램적으로 비교
• 초기 벤치마크로 모델 스스로가 이론 변환, 자연어 질의를 변수 할당으로 변환하는 등 파이프라인의 모든 LLM 구성요소 역할을 수행하도록 설정

Originality

• 기존 benchmark들이 단일 차원에서만 난이도를 조절하는 것과 달리, UDD 논리·표현·상호작용 dynamics 세 축을 완전히 분리(decouple)하여 독립적/조합적으로 복잡도를 통제하는 최초의 과학적 발견 지향 프레임워크
• rich data representation(텍스트, 파일 등)과 상호작용적 시나리오를 결합한 최초의 과학 지향 프레임워크(Table 1에서 기존 연구와 명확히 차별화)
• 정적 벤치마크의 데이터 오염 문제를 근본적으로 해결하기 위해 무한(infinite) 생성 가능한 합성 시나리오 구조를 채택

Limitation & Further Study

• 초기 벤치마크가 모델 스스로 이론-코드 변환, 질의-변수 할당 변환 등 파이프라인의 모든 구성요소 역할을 담당하게 하여, 평가 결과가 순수 과학적 추론 능력과 코드 변환/도구 사용 능력이 혼재되어 나타날 수 있음
• 600개 시나리오라는 초기 규모의 한계로, 더 다양한 UDD 구조나 실세계 도메인으로의 일반화 검증이 추가로 필요
• 능동 탐색(active exploration)에서 모든 모델이 random baseline보다 못한 성능을 보인 원인에 대한 심층적 분석(예: 탐색 전략의 내부 메커니즘)이 부족하여 후속 연구로 개선 방법론 탐구가 필요
• representation-informed translator 모델 자체의 성능이 평가 신뢰도에 영향을 줄 수 있어 이에 대한 별도 검증이 요구됨

Evaluation

총평: 합성 시나리오의 세 독립 축을 통해 무한히 확장 가능하고 오염에 강한 평가체계를 제시한 점이 인상적이며, 특히 능동 탐색에서 모든 SOTA 모델이 random baseline보다 못하다는 발견은 향후 연구에 중요한 시사점을 제공하나, 파이프라인 내 모델의 다중 역할 수행으로 인한 평가 요인의 혼재는 추가 검증이 필요하다.