TadA-Bench: A Million-Variant Benchmark for Future-Round Discovery Toward Agentic Protein Engineering

Motivation

• Known: 기존 단백질 기능 벤치마크(ProteinGym, FLIP, ProteinBench 등)는 다양한 단백질 패밀리와 assay 유형을 폭넓게 커버하는 deep mutational scanning(DMS) 데이터를 기반으로 fitness 예측 성능을 평가하며, 주로 random-split 기반 interpolation 성능을 측정해왔다.
• Gap: 기존 벤치마크는 정적인 단일 스냅샷 데이터에 대한 fitting 성능만 평가할 뿐, 실제 agentic protein engineering에서 요구되는 chronological replayability(시간 순서 보존), 대규모 exploration coverage, cross-round 라벨 일관성을 갖춘 미래 라운드 예측(future-round discovery) 과제를 다루지 못하며, TadA 특화된 31라운드 규모의 표준화된 벤치마크도 부재하다.
• Why: AI 기반 과학 발견이 정적 데이터 적합을 넘어 실제 실험실의 반복적 의사결정(다음에 무엇을 테스트할지)을 지원하는 agentic 시스템으로 진화하고 있는 상황에서, 이러한 워크플로우를 검증할 수 있는 재현 가능하고 시간 순서를 보존한 실제 실험 기반 벤치마크가 필수적이기 때문이다.
• Approach: 31라운드에 걸친 TadA directed-evolution wet-lab 캠페인 데이터를 chronology를 보존한 채 million-variant 규모로 정리하고, DNA/RNA/protein 세 가지 시퀀스 view를 정렬하며, Seq2Graph 파이프라인으로 노이즈가 있는 raw enrichment 값을 라운드 간 일관된 활성 라벨로 통합한 뒤, 대표적 생물학적 language model들을 random-split interpolation과 future-round ranking/finite-budget selection 과제에서 평가한다.

Achievement

Figure 4. Random-split interpolation versus fixed future-round evaluation on the protein view of TadA-Bench. The top and

1. TadA-Bench 벤치마크 구축: 31라운드, million-variant 규모의 wet-lab replay 벤치마크를 구축하고 DNA/RNA/protein aligned view와 고정된 future-round split을 제공한다.
2. Seq2Graph 라벨 통합 파이프라인 개발: within-round ranking과 cross-round shared-variant anchor를 활용해 노이즈가 많은 다중 라운드 enrichment 측정치를 그래프 기반으로 통합, 일관된 활성 스코어를 산출한다.
3. 모델 한계 규명: 대표적 biological language model들이 random-split에서는 강한 상관관계(interpolation)를 보이지만 future-round ranking과 finite-budget 후보 선택에서는 크게 성능이 저하됨을 보였으며, full fine-tuning과 prompt tuning 등의 적응 기법으로도 이 격차가 해소되지 않음을 확인했다.
4. 데이터 구성 원리에 대한 통제 실험 결과 도출: 동일 규모 조건에서 local data density보다 evolutionary coverage가 future-round discovery 성능에 더 유의미한 정보를 제공함을 실증했다.

How

Figure 2. Seq2Graph constructs a unified activity scale from multi-round TadA sequencing data. (a) NGS enrichment within

• 31개 TadA directed-evolution 라운드의 시퀀싱 데이터를 수집하고 캠페인의 chronology를 보존한 채 정리
• DNA, RNA, protein 세 가지 시퀀스 view를 정렬(align)하여 제공
• Seq2Graph: within-round ranking과 cross-round sequence overlap을 anchor로 사용해 그래프 엣지 기반 score propagation과 inconsistency correction을 수행, 노이즈가 있는 raw enrichment measurement를 단일 활성 스케일로 통합
• 평가 프로토콜: (1) random-split control로 interpolation 성능 측정, (2) fixed future-round replay task로 이전 라운드 데이터만으로 이후 라운드 변이체 순위화, (3) finite-budget candidate selection으로 제한된 실험 예산 하에서 고활성 변이체 회수율 평가
• Nucleotide Transformer, Evo 2, OmniGenome, RiNALMo, ESM2/ESM Cambrian/ESM3 등 대표적 DNA/RNA/protein language model을 대상으로 평가
• Full fine-tuning과 prompt tuning을 적용한 discovery-mode 적응 실험으로 minimal probing protocol의 한계 여부를 검증
• Matched-size 통제 분석을 통해 evolutionary coverage와 local data density의 영향을 분리하여 비교

Originality

• 정적 fitness 예측이 아니라 chronological replayability를 보존한 future-round discovery라는 새로운 문제 정의를 제시
• 단일 TadA 캠페인을 31라운드에 걸쳐 심층적으로 추적하는 방식으로, 폭넓은 커버리지를 지향하는 기존 DMS 집합체(ProteinGym, FLIP 등)와 차별화된 depth-first 벤치마크 설계
• 그래프 기반 label-unification 파이프라인(Seq2Graph)을 통해 노이즈가 많은 다중 라운드 enrichment 데이터를 그래프 학습이 아닌 데이터 통합 도구로 활용한 점이 독특함
• Overlap anchor를 라벨 통합에만 사용하고 ancestry inference에는 사용하지 않는다는 명확한 스코프 제한
• Evolutionary coverage vs. local data density라는 통제된 비교를 통해 벤치마크/데이터셋 설계 원칙에 대한 경험적 통찰 제공

Limitation & Further Study

• TadA라는 단일 단백질/캠페인에 국한되어 있어, 다른 단백질 패밀리나 효소로의 일반화 가능성이 검증되지 않음
• 벤치마크가 fixed-data replay로 설계되어 있어, 실제 agentic 시스템의 planning, tool-use, 자율적 wet-lab 실행 전략은 평가 범위에서 제외됨
• Evolutionary coverage가 local data density보다 유용하다는 결과는 저자들 스스로도 인정하듯 보편 법칙이 아닌 TadA-Bench 상의 경험적 관찰에 불과하여 다른 캠페인에서의 재현성은 추가 검증이 필요함
• Seq2Graph의 라벨 통합 과정에서 발생할 수 있는 편향이나 오류 전파 가능성에 대한 심층 분석이 제한적으로 보임
• 후속 연구로 다중 단백질 캠페인 확장, 실제 agentic 파이프라인(제안-검증-선택 루프) 통합 평가, 더 정교한 acquisition function 및 active learning 전략 개발이 필요

Evaluation

총평: 실제 wet-lab 캠페인의 시간적 구조를 보존하며 future-round discovery라는 실용적이고 중요한 문제를 정면으로 다룬 견고한 벤치마크 논문으로, agentic protein engineering 연구에 실질적인 기여를 할 것으로 평가되나 단일 캠페인 기반이라는 한계로 일반화 검증은 향후 과제로 남는다.