Can AI Scientists Discover Neural Mechanisms? Evaluating Agentic Biological Discovery in a Digital Fly.

Motivation

• Known: 기존 AI Scientist류 시스템(The AI Scientist, The AI Scientist-v2)은 ideation, 실험, 논문작성을 아우르는 end-to-end 파이프라인을 보여주었고, biology 특화 agent 연구들(nanobody design, gene-set analysis, single-cell pipeline 등)도 빠르게 등장하고 있다. 또한 whole-brain fly connectome과 connectome-constrained model, neuromechanical digital twin 등 fly-scale simulation 인프라가 성숙해지고 있다.
• Gap: 그러나 기존 평가들은 agent가 알려진 파이프라인을 실행하거나 문헌 지식을 요약하는 능력만 측정할 뿐, causation과 correlation을 구분하고 budget 하에서 informative intervention을 선택하며 contradictory evidence 후 belief를 revise하고 held-out perturbation에도 견디는 mechanistic explanation을 만들어낼 수 있는지는 검증하지 않는다.
• Why: Mechanism discovery는 단순 QA보다 엄격한 요건(어떤 구성요소가 중요한지 식별, intervention으로 근거 마련, 미관측 실험 예측)을 요구하며, 이는 causal reasoning 능력을 검증하는 더 신뢰할 수 있는 척도가 되어 AI scientist의 실질적 과학적 자율성을 가늠하는 데 중요하다.
• Approach: 저자는 discovery를 budgeted hypothesis–experiment–update loop로 formalize하고, whole-brain Drosophila 모델에서 파생된 feeding/grooming circuit 관련 6개 pilot task로 이를 구체화하여 planning agent, one-shot GPT-5.4 stand-in, no-memory variant, memory-only variant를 비교한다.

Achievement

Figure 1. Digital-fly discovery loop. The agent observes compressed neural and behavioral readouts, chooses budgeted

1. Budgeted discovery loop 정식화: 생물학적 discovery를 latent mechanism m⋆를 가진 환경과의 상호작용(T = (E, O, A, H, g, B))으로 formalize하여 예측/제어/검색 기반 접근과 구분되는 discovery 기준을 제시했다.
2. Pilot benchmark 구축: whole-brain Drosophila 모델의 feeding/grooming circuit에서 6개 task를 구성하고 node-set recovery, held-out counterfactual prediction, budgeted intervention, named-vs-anonymized shortcut test 등을 포함시켰다.
3. Planning agent의 우수성 입증: budget 2/4/6/8에서 Node F1 0.856/0.952/1.000/1.000을 달성해 one-shot(0.532), no-memory(0.578~0.667), memory-only(0.789~0.897) variant를 모두 능가함을 보였다.
4. Shortcut robustness 검증: named-versus-anonymized 조건에서 one-shot baseline은 1.000에서 0.532로 급락하지만 planning agent는 두 조건 모두에서 1.000을 유지해, benchmark가 memorization 기반 shortcut을 탐지할 수 있음을 확인했다.

How

Figure 1. Digital-fly discovery loop. The agent observes compressed neural and behavioral readouts, chooses budgeted

• Discovery를 T = (E, O, A, H, g, B) 형태의 environment interaction으로 정식화하고, agent가 history h_t를 관측하며 intervention a_t를 선택하도록 설계
• 5개 task family(mechanism localization, causal attribution, intervention design, counterfactual prediction, cross-context transfer) 중 node-set recovery를 중심으로 pilot에서 부분적으로 구현
• 각 task에서 agent는 hypothesized mechanism node set, optional edge, confidence score, natural-language explanation, held-out experimental prediction을 구조화된 output으로 반환
• Node F1, held-out counterfactual accuracy, budget AUC, Brier score 등 벡터 형태의 평가지표 사용
• Planning agent, one-shot GPT-5.4 stand-in, no-memory variant, memory-only variant를 budget 2/4/6/8 조건 및 named-versus-anonymized 조건에서 비교

Originality

• 기존 AI Scientist 계열 연구가 파이프라인 실행이나 논문형 output 생성에 초점을 맞춘 것과 달리, causal mechanism discovery 자체를 budgeted hypothesis-experiment-update loop로 명시적으로 formalize한 최초 시도 중 하나
• whole-brain fly connectome과 simulation을 evaluation substrate로 채택하여 toy causal graph와 고비용 wet-lab 실험 사이의 tractable middle ground를 제시
• named-versus-anonymized 조건을 통해 shortcut/memorization 여부를 드러내는 sensitivity test를 benchmark 설계에 포함시킨 점이 독창적

Limitation & Further Study

• 6개 task로 구성된 pilot 규모가 매우 작아 leaderboard가 아닌 sensitivity study 수준에 머무르며, 일반화 가능성이 제한적이다.
• edge-level causal attribution은 아직 다루지 않아 mechanism discovery의 핵심 요소 중 하나가 미완성 상태로 남아 있다.
• 비교 대상 baseline(GPT-5.4 stand-in 등)의 구체적 정의와 재현성, 그리고 whole-brain Drosophila 모델 자체의 fidelity에 대한 검증이 충분히 논의되지 않았다.
• 향후 연구는 task family를 확장하고 edge-level attribution, cross-context transfer를 완전히 구현하며 더 다양한 LLM backbone과 실제 wet-lab ground truth와의 비교가 필요하다.

Evaluation

총평: AI agent의 과학적 discovery 능력을 mechanistic reasoning 관점에서 평가하는 신선한 benchmark 설계를 제시했으나, pilot 규모가 작고 일부 task family(edge-level attribution 등)가 미완성이라 정식 leaderboard보다는 초기 proof-of-concept 성격이 강하다.