Agentic Supervision of Iterative Assay Design in High-Throughput Regulatory Genomics

Motivation

• Known: MPRA는 수십만 개의 조절 서열에 대한 대규모 기능 측정을 가능하게 하며, 최근에는 특정 가설 검증을 넘어 sequence-to-activity 예측 모델 학습을 위한 훈련 데이터 생성에도 활용되고 있다. Malinois와 같은 MPRA 기반 신경망 모델은 이미 오라클 모델이자 벤치마크로 널리 채택되어 CRE(cis-regulatory element) 설계에 사용되고 있다.
• Gap: 기존 AI 에이전트 연구(AutoRA, The AI Scientist 등)는 주로 계산적 연구 문제나 고정된 후보 집합에서의 파라미터 최적화(BioDiscoveryAgent 등)에 국한되어 있었고, 실험 설계 자체—특히 4^200 규모의 조합적으로 방대한 서열 공간에서 5만 개 서열로 구성된 라이브러리 전체를 구성하는 문제—를 LLM 에이전트가 자율적으로 수행한 사례는 없었다.
• Why: AI가 단순히 데이터 분석 도구를 넘어 실험 설계자로서의 역할을 수행할 수 있는지는 AI 공동과학자(co-scientist) 워크플로우의 실현 가능성을 가늠하는 핵심 질문이며, 실험 예산이 제한된 primary cell type 등 어려운 조건에서 라이브러리 구성은 예측 모델의 성능을 좌우하는 중요한 실험적 판단이기 때문이다.
• Approach: Malinois라는 고신뢰도 surrogate model을 시뮬레이션된 wet-lab으로 사용하여, LLM 에이전트가 매 라운드마다 50,000개의 200bp DNA 서열로 구성된 라이브러리를 제안하고, 해당 라이브러리로 학습된 예측 모델의 held-out 성능 피드백만으로 다음 라이브러리를 반복 개선하는 closed-loop 프레임워크(MPRAgent)를 구축했다.

Achievement

Figure 3. Agent performance on eval 01 across 30 experimental rounds. (Top) Distribution of eval 01 scores for all agent

1. MPRAgent 프레임워크 제안: LLM이 인터넷 검색 및 리소스 다운로드가 가능한 개방형 환경에서 자율적으로 MPRA 라이브러리를 설계·개선하는 재현 가능한 in silico 샌드박스를 구축했다.
2. 인간 설계 대비 성능 우위: 여러 독립 실행에서 에이전트가 설계한 라이브러리가 인간이 설계한 다수의 전략들을 능가하며 예측 성능에서 일관된 개선을 보였다.
3. 해석 가능한 설계 원칙 회복: 에이전트가 라이브러리 구성에 관한 해석 가능한 설계 원칙들을 스스로 발견하였다.
4. 재사용 가능한 벤치마크 제공: AI co-scientist 워크플로우 평가를 위한 in silico 벤치마크를 제공하여 향후 연구에 활용 가능하게 하였다.

How

Figure 1. At each round, an LLM agent proposes a library of 50,000 DNA sequences, which are labeled by a high-fidelity s

• 각 라운드 t에서 에이전트는 프로그램을 작성하여 50,000개의 200bp 서열(알파벳 {A,C,G,T})로 구성된 라이브러리 Lt를 생성한다.
• Malinois(776,474개의 리포터 서열로 K562, HepG2, SK-N-SH 세포주에서 학습된 CNN 기반 예측기, held-out 염색체에서 Pearson r=0.88)를 surrogate 측정 모델로 사용하여 각 서열에 대한 활성 라벨을 부여한다.
• 라벨링된 라이브러리로 Malinois와 동일한 아키텍처와 하이퍼파라미터를 가진 새로운 sequence-to-activity 모델을 무작위 초기화 후 처음부터 학습한다.
• 학습된 모델 fLt를 held-out 평가 서열 xtest에 적용하고, 3개 세포주에 대한 실제 MPRA 측정값 yc_test와의 Pearson 상관계수 r을 평균하여 score(Lt)를 산출한다 (식 1).
• 에이전트는 오직 반환된 성능 지표만을 관찰하여 다음 라운드의 라이브러리 설계를 순차적으로 개선하며, 이 과정은 prepare.py에 봉인된 파이프라인을 통해 실행된다.

Originality

• 기존 에이전트 연구가 주로 계산적 연구 루프(코드 실행, 파라미터 튜닝)에 국한되었던 것과 달리, 실험 설계(라이브러리 구성) 자체를 에이전트의 최적화 대상으로 삼은 최초의 시도이다.
• 고정되고 열거 가능한 후보 집합에서 선택하는 기존 closed-loop 생물학적 설계(Bayesian optimization, active learning, directed evolution, BioDiscoveryAgent 등)와 달리, 4^200 규모의 조합적으로 방대한 서열 공간에서 라운드당 50,000개 서열로 구성된 전체 라이브러리를 새로 조합해야 하는 질적으로 다른 문제 설정을 제시했다.
• Malinois를 개별 서열의 활성 최적화가 아닌 라이브러리 구성 자체의 surrogate 평가 도구로 재활용하여, 기존 model-guided design 패러다임을 확장했다.

Limitation & Further Study

• Malinois라는 단일 surrogate model에 전적으로 의존하므로, 실제 wet-lab 실험에서의 노이즈, 배치 효과, 미지의 생물학적 변수 등을 반영하지 못할 가능성이 있어 실제 실험 성능으로의 일반화가 검증되지 않았다.
• 평가 세포주(K562, HepG2, SK-N-SH)가 Malinois 학습에 사용된 세포주와 동일하여, 실제로 예산이 제한적인 primary cell type과 같은 더 어려운 조건에 대한 일반화 검증이 부족하다.
• 에이전트의 설계 원칙이 해석 가능하다고 주장하나, 이를 정량적으로 검증하거나 다양한 LLM 백본에 대한 강건성(robustness) 비교가 제한적일 수 있다.
• 후속 연구로 실제 wet-lab 검증, 다양한 surrogate model과의 교차 검증, 더 다양한 세포 유형 및 실험 예산 제약 하에서의 에이전트 성능 평가가 필요하다.

Evaluation

총평: LLM 에이전트를 실험 설계자로서 대규모 조합 공간에서 평가한 독창적이고 시의적절한 연구로, AI co-scientist 워크플로우 평가를 위한 실용적 벤치마크를 제공한다는 점에서 의의가 크나, 단일 surrogate model에 의존한 in silico 검증의 한계로 실제 wet-lab 적용 가능성에 대한 추가 검증이 필요하다.