LLM-Assisted versus Agentic Approaches to De Novo Minibinder Design for a KRAS G12D Neoantigen

Motivation

• Known: RFdiffusion, ProteinMPNN, AlphaFold2/3 기반 파이프라인을 통해 pMHC-I 표적을 포함한 다양한 단백질 표적에 대한 de novo minibinder 설계가 가능함이 여러 선행 연구에서 입증되었으며, LLM 에이전트 플랫폼(Latent Labs, Boltz, Tamarind Bio 등)도 유사한 hit rate로 binder를 설계할 수 있다는 사례가 보고되었다.
• Gap: 그러나 KRAS G12D neoantigen처럼 wildtype과 단일 잔기 차이만 존재하는 극도로 특이성 요구가 높은 pMHC-I 표적에 대해, 인간 주도 설계와 LLM 에이전트 주도 설계(완전 자율 vs. 인간 피드백 포함)의 실제 성능과 한계를 직접 비교한 연구는 없었으며, in silico confidence metric과 실제 결합 친화도 간의 간극 문제도 체계적으로 다뤄지지 않았다.
• Why: 치료적으로 중요한 KRAS G12D neoantigen 표적에 대해 LLM/에이전트 개입 정도에 따른 설계 품질과 실패 양상을 비교함으로써, AI 보조 단백질 설계에서 인간 전문가 감독이 필수적인 지점(결합 방향성, 특이성 임계값 보정, 후보 선별)을 실증적으로 규명하여 향후 자율 AI 기반 신약 설계 워크플로우 구축에 실질적 지침을 제공한다.
• Approach: RFdiffusion-ProteinMPNN-AlphaFold 기반 공통 파이프라인을 사용하되, (1) 인간이 모든 과학적 의사결정을 하고 LLM은 코드 생성/분석만 보조하는 방식, (2) 표적만 지정하고 에이전트가 파이프라인 구축과 in silico 평가를 자율 수행하는 방식, (3) 표적 지정과 함께 인간이 풍부한 과학적 맥락과 피드백을 제공하는 방식, 총 세 가지 캠페인을 2라운드에 걸쳐 수행하고 새로운 다층 평가 체계로 비교하였다.

Achievement

Figure 2. Predicted structures of binding complexes. HLA-

1. 캠페인별 hit 수 비교: 인간 주도 캠페인은 17개의 high-confidence hit을 산출했고, LLM-agent 캠페인 두 종류는 각각 41개, 6개의 top hit을 제시하여 접근법별 산출량 차이를 정량화했다.
2. 다층 평가 체계 구축: 구조/서열 품질, Rosetta 기반 에너지 계산, docking 검증을 포함하는 새로운 다층 평가 suite를 개발하여 서로 다른 설계 방식의 결과물을 공정하게 비교 가능하게 했다.
3. 선행 발표 설계 분석을 통한 난이도 보정: 18개의 기 발표된 KRAS binder 서열(Liu et al.)을 AlphaFold3로 재분석하여 back-face MHC docking, MSA 설정에 따른 ipSAE 변화 등 평가 metric의 함정을 확인하고 이를 신규 평가 기준 설계에 반영했다.
4. 에이전트의 역할과 한계 규명: 에이전트가 새로운 설계 아이디어 탐색과 대규모 병렬 캠페인 수행에는 유용하지만, 올바른 결합 방향, 특이성 임계값 보정, 최종 후보 선별에는 여전히 전문가 감독이 필수적임을 실증했다.

How

Figure 1.

• RFdiffusion으로 표적 hotspot 위에 minibinder 백본 구조를 생성하고 ProteinMPNN으로 서열을 샘플링, AlphaFold2/3로 복합체 구조를 예측하는 공통 파이프라인을 사용
• Round 2에서는 최종 구조에 partial diffusion을 적용해 백본을 정제하고 재차 ProteinMPNN을 수행
• Rosetta, ESMFold 및 기타 metric을 이용한 후보 필터링/정제를 각 단계 후 수행
• Geometric filter, specificity scan, folding stability, binding contact energetics, surface hydrophobicity 등 다중 기준으로 후보를 스크리닝
• 18개 기 발표 binder 서열을 대상으로 AlphaFold3의 MSA 설정(β-2 microglobulin 포함/제외, minibinder MSA 유무)에 따른 ipSAE, RMSD 변화를 비교 분석하여 평가 파이프라인의 신뢰도를 검증
• 세 가지 설계 모드(human-directed with LLM, autonomous LLM-agent, LLM-agent with human feedback)로 독립적인 설계 캠페인을 수행하고 동일한 평가 suite로 결과를 비교

Originality

• 기존 연구들이 단일 설계 방식(인간 주도 또는 자율 에이전트)에 초점을 맞춘 것과 달리, 동일한 극난이도 표적(KRAS G12D neoantigen pMHC-I)에 대해 LLM 개입 정도가 다른 세 가지 워크플로우를 직접 비교한 최초의 실증 연구
• 기존 binder에 대한 학습 데이터 누출 가능성을 배제하기 위해 아직 de novo binder가 보고된 적 없는 극도로 도전적인 표적을 의도적으로 선택
• AlphaFold 기반 confidence metric(ipSAE, ipTM 등)의 함정(back-face docking, MSA 설정 민감도)을 선행 발표 설계 재분석을 통해 실증적으로 드러내고 이를 반영한 다층 평가 체계를 새로 제안

Limitation & Further Study

• 본 연구는 전적으로 in silico 평가에 기반하며, 실제 wet-lab 결합 친화도 및 특이성 검증이 이루어지지 않아 제안된 hit들의 실제 유효성은 불확실함
• 표적이 KRAS G12D 한 가지에 국한되어 있어 결과의 일반화 가능성이 제한적이며, 다른 pMHC-I 또는 비-pMHC 표적에 대해서도 동일한 결론이 성립하는지 추가 검증이 필요함
• 에이전트 플랫폼(예: 특정 LLM-agent 구현체)의 선택에 따라 결과가 달라질 수 있어, 다양한 에이전트 프레임워크에 대한 반복 실험이 후속 연구로 요구됨
• 실험적 wet-lab 검증을 통한 in silico metric과 실제 결합력 간의 상관관계 재확인이 필요함

Evaluation

총평: LLM/에이전트 개입 정도에 따른 단백질 설계 워크플로우를 도전적인 실제 치료 표적에 대해 체계적으로 비교한 시의성 있고 실용적인 연구이나, wet-lab 검증 부재와 단일 표적 한정이라는 한계로 결론의 일반화에는 신중함이 필요하다.