Can AI Scientist Agents Learn from Lab-in-the-Loop Feedback? Evidence from Iterative Perturbation Discovery

Motivation

• Known: BioDiscoveryAgent 등 선행 연구는 LLM agent가 유전자 perturbation 실험 설계에서 Bayesian optimization 대비 개선을 보인다고 보고했으나, Gupta et al. (2025)은 랜덤 피드백과 실제 피드백 간 성능 차이가 없음을 근거로 LLM이 진정한 in-context experimental design을 수행하지 못한다고 주장했다.
• Gap: 기존 연구는 소규모 실험과 단일 모델에 의존해 ICL 효과의 부재를 결론지었으며, feedback 품질(랜덤 vs 실제)과 모델 capability(구형 vs 신형 LLM)가 결과에 미치는 영향을 체계적으로 통제하지 못했다. 즉 ICL 무효 결론이 모델 한계 때문인지 방법론적 한계 때문인지 불분명했다.
• Why: AI Scientist agent가 실험 피드백으로부터 실제로 학습할 수 있는지는 자율적 과학 발견 시스템의 신뢰성과 실용성을 좌우하는 근본적 질문이며, 이 연구는 모델 capability가 임계점을 넘어야 ICL이 발현된다는 것을 보여줌으로써 향후 agent 설계와 모델 선택에 중요한 함의를 제공한다.
• Approach: JUMP Cell Painting CRISPR perturbation 데이터셋을 이용해 6개 agent 아키텍처를 10개 target feature, 각 10회 반복(총 800 실험)으로 벤치마킹하고, 실제 피드백과 랜덤 permuted 피드백을 비교하는 통제 실험을 설계했다.

Achievement

1. 대규모 실증적 반박: 800회의 독립 반복 실험을 통해 feedback 접근이 평균 discoveries per feature를 +53.4% 증가시킴을 통계적으로 유의하게(p=0.003) 입증하여, 기존 "ICL 무효" 주장에 반례를 제시했다.
2. Random feedback control 검증: hit/miss 라벨을 permute한 통제 실험에서 성능 향상이 사라짐을 보여, 관찰된 개선이 prompt-induced recall이 아닌 실제 feedback quality에 기인함을 확인했다(+13.0 hits, p=0.003).
3. 모델 capability의 임계 효과 발견: Claude Sonnet 4.5에서 4.6으로 업그레이드 시 gene hallucination 비율이 ~33-45%에서 ~3-9%로 감소하며, 이에 따라 non-significant ICL 효과(+0.8, p=0.32)가 highly significant한 효과(+11.0, p=0.003)로 전환됨을 보였다.
4. 새로운 agent 아키텍처 제안: 표현형 시그니처와 hypothesis register를 활용하는 ICBR-EF(In-Context Belief Revision from Experimental Feedback) agent를 제시하여 단순 hit/miss를 넘어선 구조화된 신념 갱신 메커니즘을 실험했다.

How

• 데이터/과제 설계: JUMP Cell Painting CRISPR perturbation subset(~8,000 gene knockout, 4,672 CellProfiler feature)을 이용, 10개 target feature에 대해 T=10 iteration, batch size K=100의 offline lab-in-the-loop 시뮬레이션 구성
• Agent 비교군: Zero-shot(prior knowledge only), ICL-EF(피드백 기반 반복 갱신), ICBR-EF(표현형 시그니처+hypothesis register 기반 신념 갱신) 세 가지 LLM agent 변형과 Random, GP-UCB(STRING PPI kernel 기반), Random Feedback(라벨 permutation) 세 가지 baseline을 비교
• 통계 검정: target feature를 추론 단위로 삼아 10회 replicate 평균을 feature-level 점수로 사용하고, exact two-sided sign-flip permutation test로 method 간 쌍대 비교의 유의성을 검정
• 모델 capability 비교: Claude Sonnet 4.5와 4.6 두 backbone을 사용해 gene hallucination율과 ICL 효과 크기 변화를 비교 분석

Originality

• Cell Painting/JUMP dataset을 이용한 ICL 기반 perturbation 선택 연구는 선행 사례가 없는 최초 시도라고 저자들이 주장함
• 단순 재현이 아니라 Gupta et al.(2025)의 "ICL 무효" 결론에 대해 대규모(800 실험), 다중 모델(구형/신형), 다중 agent 아키텍처(zero-shot/ICL-EF/ICBR-EF)를 통한 체계적 반증 시도라는 점에서 독창적
• Random feedback control과 model capability upgrade를 결합해 "feedback quality"와 "model threshold"라는 두 축으로 ICL 실패/성공 원인을 분리해낸 실험 설계가 새로움
• hypothesis register 기반의 ICBR-EF라는 구조화된 belief revision 메커니즘 제안

Limitation & Further Study

• 본 연구는 offline replay 기반 시뮬레이션으로, 실제 wet-lab lab-in-the-loop 환경에서의 지연, 노이즈, 비용 등 실제적 제약을 반영하지 못함
• GP-UCB baseline이 STRING PPI kernel만 사용하는 "deliberately conservative" 설정이라 richer kernel을 사용하면 LLM agent와의 격차가 줄어들 수 있다고 저자 스스로 인정함
• 단일 데이터셋(JUMP Cell Painting)과 단일 모델 계열(Claude Sonnet 4.5/4.6)에 국한되어 일반화 가능성 검증이 부족하며, 다른 LLM 계열(GPT, Gemini 등)이나 다른 도메인(화학 합성, 재료 발견 등)에 대한 검증이 필요
• 10개 target feature와 10회 replicate라는 규모가 통계적으로는 유의하나, feature 간 이질성(baseline hit rate ~1-2%에서 편차)에 따른 세부 메커니즘 분석은 제한적
• 후속 연구로는 실제 wet-lab 검증, 더 다양한 모델/도메인으로의 확장, hallucination 감소와 ICL 효과 간 인과 메커니즘의 심층 분석이 필요

Evaluation

총평: 대규모 반복 실험과 통제된 random feedback 실험을 통해 "LLM agent는 ICL을 못한다"는 기존 통념을 모델 capability라는 중요한 조절변수로 재해석한 설득력 있는 연구이며, AI Scientist agent 설계에 실질적 함의를 제공하는 값진 기여이다.