FIDIA: Function-Informed Sequence Design via Inference-Aligned Policy Optimization

Motivation

• Known: 기존 단백질 설계 파이프라인은 기능 조건부 backbone 생성 후 inverse folding 모델(예: ProteinMPNN)로 sequence를 (재)설계하는 2단계 방식을 사용하며, inverse folding 모델은 sequence recovery rate 극대화를 목표로 P(sequence | backbone)만을 근사하도록 학습된다.
• Gap: inverse folding 모델은 function-agnostic하고 sequence-structure degeneracy로 인해 구조적으로는 타당하지만 기능적으로 부적합한 서열을 생성할 수 있으며, 특히 실제 추론에서 널리 쓰이는 Best-of-N 선별 프로토콜을 학습 목표(MLE)가 전혀 반영하지 못해 근본적인 training-inference misalignment가 존재한다. 기존 DPO/GRPO 기반 RL 접근법들도 범용 물리적 특성만 최적화할 뿐 개별 단백질의 특정 기능 요구사항이나 BoN 정렬 문제를 다루지 않는다.
• Why: 백신 항원의 epitope 기하학적 무결성이나 효소 공학의 side-chain 화학 구조처럼, 실제 치료제·생촉매 설계는 미세한 물리화학적 세부사항에 민감하므로, 기능 정보를 반영하고 실제 선별 방식(BoN)과 정렬된 서열 설계 방법이 컴퓨터 기반 단백질 설계 파이프라인의 실질적 성공률을 좌우하기 때문이다.
• Approach: ProteinMPNN 기반 sequence 생성을 MDP로 정식화하고, ESMFold 및 VinaDock 등을 oracle로 사용한 composite reward를 정의한 뒤, BoN 추론 시의 expected maximum reward를 직접 최대화하는 이론적으로 유도된 gradient estimator로 정책을 최적화한다.

Achievement

Figure 1. Evaluation of the complete design pipeline across

1. 성능 향상: motif scaffolding 벤치마크에서 성공률을 26.67%에서 37.50%로 끌어올리고 가장 낮은 motif RMSD를 달성함.
2. 실세계 적용성 검증: 백신 motif scaffolding 및 affinity-enhancing 효소 scaffolding 케이스 스터디에서 state-of-the-art 성능을 보이며, Vinadock score를 -6.53에서 -7.21로 안정화시킴.
3. 베이스라인 대비 우위: 표준 inverse folding 모델뿐 아니라 기존 RL 최적화(DPO, GRPO 기반) 베이스라인들도 일관되게 능가함.

How

• protein 서열 생성을 MDP (S, A, π, T, R)로 정의: 상태는 backbone geometry x, 기능 조건 c, 부분 서열로 구성되고, 행동은 특정 위치의 amino acid type 선택
• 비미분성(non-differentiable) terminal reward function R(s, x, c)을 정의하여 ESMFold(구조 일관성) 및 VinaDock(결합 친화도) 등 oracle을 활용해 기능적 적합도 평가
• Best-of-N 추론 프로토콜을 N개의 i.i.d. 후보 서열 중 최고 성능 선택으로 모델링하고, 이를 단일 최고 서열 선택으로 단순화하여 수학적으로 다룸
• max 연산자의 비미분성과 샘플 비효율성을 우회하기 위해 expected maximum reward를 직접 극대화하는 grounded gradient estimator를 이론적으로 유도
• 이 estimator를 통해 학습 과정과 추론 시 BoN 전략 간의 정렬을 명시적으로 달성

Originality

• 기존 연구들이 inverse folding 모델에 범용 물리적 제약(구조 일관성 등)만 RL로 주입한 것과 달리, 개별 단백질의 특정 기능적 요구사항(기능 정보)을 composite reward에 통합
• MLE 학습 목표와 BoN 추론 프로토콜 간의 misalignment를 protein design 파이프라인에서 최초로 명시적으로 규명하고 이를 해결하는 이론적 gradient estimator 제시
• max 연산자의 비미분성과 높은 샘플 복잡도 문제를 회피하는 grounded estimator를 통해 expected maximum reward를 직접 최적화하는 novel한 학습-추론 정렬 기법 제안

Limitation & Further Study

• 논문 발췌본에서는 BoN을 단일 최고 서열 선택으로 단순화(N을 명시적으로 크게 다루지 않음)했다고 명시하는데, 이는 실제 다양한 N 값에 대한 일반화 가능성에 대한 의문을 남김
• reward 함수가 ESMFold, VinaDock 등 in silico oracle에 의존하므로, oracle 자체의 부정확성이 최적화 결과에 그대로 반영될 위험이 있고 실제 wet-lab 검증 결과와의 상관성 검증이 제한적일 수 있음
• 후속 연구로 다양한 기능적 목표(예: 다중 목표 최적화)나 다른 inverse folding backbone 모델로의 일반화, 실제 실험적 검증(wet-lab)을 통한 결과 확인이 필요함

Evaluation

총평: MLE와 BoN 추론 간의 misalignment라는 실질적이고 중요한 문제를 이론적으로 잘 정식화하고, 백신 및 효소 설계라는 실제 응용에서 유의미한 성능 향상을 보여준 견실한 연구이다. 다만 reward oracle 의존성과 실험적 wet-lab 검증의 부재는 향후 보완이 필요한 지점이다.