CIDER: Conformal Information-Directed Agents for Low-Budget Protein Engineering

Motivation

• Known: ProteinGym은 PLM 기반 mutation-effect predictor를 정적으로 평가하는 대규모 벤치마크이며, FolDE와 같은 low-N 최적화 방법은 3-round 16-variant 캠페인으로 실험 현실에 근접한 평가를 시도해왔다. 또한 information-directed sampling, Bayesian optimization, conformal prediction under feedback covariate shift, DPP 기반 batch active learning 등이 각각 독립적으로 순차적 실험 설계와 신뢰성 문제를 다뤄왔다.
• Gap: 기존 PLM 평가는 rank correlation, AUC, 고정 임계값 recall 등 global regression accuracy에 초점을 맞추어, 소수 assay slot만 허용되는 실제 실험실 환경에서 중요한 top-1% rare-hit 발견이라는 event-level objective를 반영하지 못한다. 또한 adaptive acquisition이 유발하는 feedback covariate shift 하에서 uncertainty 추정이 무효화되거나 batch가 중복되는 문제, 그리고 LLM 기반 biological agent의 안전성과 evidence fidelity를 함께 평가하는 통합 프로토콜이 부재하다.
• Why: 실제 단백질 공학 캠페인은 수십 개 수준의 매우 제한된 assay만 가능하므로, 계산 방법의 실질적 유용성은 어떤 변이체를 첫 배치에 넣고 관측 후 어떻게 적응하며 최종적으로 예외적 변이체를 발견하는가라는 순차적 policy 품질에 의해 결정된다. 이를 안전하고 감사 가능한 방식으로 평가·최적화하는 프레임워크는 저예산 실험 설계와 신뢰 가능한 LLM agent 활용 모두에 중요한 함의를 가진다.
• Approach: ProteinGym DMS assay를 안전 필터링하여 hidden-oracle 순차 캠페인으로 재구성한 CIDER-BENCH와, conformal 보정된 top-tail 확률·information gain·DPP 기반 다양성을 결합한 acquisition function 및 bounded controller로서의 LLM(GPT-OSS-20B)을 사용하는 CIDER-AGENT를 제안한다.

Achievement

Figure 2. Budget-wise top-1% discovery. Curves report mean

1. CIDER-BENCH 구축: ProteinGym substitution assay를 바이러스·독소·항생제내성·병원성 관련 target을 제외한 안전 필터를 거쳐 20개 benign 랜드스케이프(단일/다중 변이)로 큐레이션하고, batched design-build-test-learn 캠페인 형태의 retrospective 평가 프로토콜을 정립했다.
2. CIDER-AGENT 설계: conformal top-tail calibration, information-directed acquisition, DPP 기반 diversity-aware batch 최적화를 결합하고, LLM을 후보 제안이 아닌 bounded controller action과 audit-trace 생성으로만 제한하여 mechanically 검증 가능한 evidence fidelity를 확보했다.
3. 성능 우위 입증: 48-query 캠페인, 20개 benign 랜드스케이프에서 static PLM ranking, 표준 active-learning baseline, LLM-only planner, FolDE 대비 rare-hit discovery를 향상시키면서 zero invalid action을 유지함을 보였다.

How

Figure 1. Retrospective campaign loop and constrained agent. (A) A measured DMS landscape is replayed as a hidden oracle

• ProteinGym assay에서 결측치 제거, 중복 mutant string 평균화, wild-type 대비 후보 서열 검증 등 전처리를 통해 nondegenerate top-1% set과 충분한 dynamic range를 갖는 20개 benign assay(14 single-mutant, 6 multi-mutant)를 선정
• 바이러스, 독소, 항생제내성, host-entry, immune escape, pathogenicity 관련 assay identifier/metadata를 제외하는 conservative safety filter 적용, 후보 pool 밖 변이체 제안 자체를 환경 차원에서 차단
• 각 round마다 policy가 candidate set에서 batch B_t를 submit하면 hidden oracle이 해당 측정값만 반환하는 형태로 캠페인 루프 구성 (R rounds, batch size b)
• CIDER acquisition function은 model-score prior, posterior uncertainty, conformal top-tail probability, information gain을 결합해 후보를 점수화하고 DPP-style quality-diversity objective로 다양한 batch를 선택
• CIDER-AGENT는 GPT-OSS-20B를 이용해 acquisition weight의 bounded controller mode만 선택하게 하고, 각 텍스트 claim을 기록된 acquisition statistics와 대조 검증하는 audit trace를 생성

Originality

• top-tail discovery를 fixed-budget sequential decision 문제로 공식화(Eq.1)하고 event-level objective(max Pr[max f(x)≥q0.99(f)])를 명시적 primary endpoint로 정의
• conformal top-tail calibration을 acquisition function 내부에 직접 통합하여 feedback covariate shift 하에서도 uncalibrated extrapolative uncertainty에 기반한 후보를 penalize
• LLM을 자유로운 변이체 제안자가 아닌, bounded controller action + 기계적으로 검증 가능한 audit-trace generator로 한정한 안전 지향 agent 설계
• 안전 필터링된 retrospective DMS oracle 벤치마크(CIDER-BENCH)를 통해 harmful biological design capability test로 오용되지 않으면서도 agentic planning을 평가 가능하게 함

Limitation & Further Study

• 20개 benign 랜드스케이프, 48-query 캠페인이라는 제한된 규모의 retrospective 벤치마크로, 실제 wet-lab 실험에서의 검증이 부재함
• LLM controller가 bounded action으로 제한되어 있으나, GPT-OSS-20B라는 단일 모델에 대해서만 평가되어 다른 LLM에 대한 일반화 여부는 불명확함
• safety filter가 assay identifier/metadata 기반의 conservative filtering에 의존하므로, filter의 완전성과 false negative 가능성에 대한 정량적 검증이 부족해 보임
• 후속 연구로 실제 wet-lab pilot 검증, 다양한 LLM controller 비교, 더 넓은 범위의 pathogenic/비-benign landscape에 대한 안전한 확장 방안 모색이 필요함

Evaluation

총평: 저예산 단백질 엔지니어링을 rare-hit discovery라는 실질적 목표로 재정의하고, conformal calibration과 안전하게 제약된 LLM controller를 결합해 벤치마크와 방법을 함께 제시한 견고한 연구로, 실험실 적용 가능성이 높은 실용적 기여를 보인다.