Fidelity-Concordance Reward Calibration for Reliable Generative Design

Motivation

• Known: 단백질 변이체 설계에서는 학습된 surrogate reward(예: 촉매 효율, 결합 친화도 예측 모델)를 이용해 사전학습된 생성 모델을 test-time steering, best-of-N selection, fine-tuning 등으로 원하는 기능적 목표로 유도하는 것이 표준적 접근이다. 또한 Bayesian optimization, active learning, reward-model averaging(예: Rame et al., 2024) 등 uncertainty를 활용해 실험 설계나 reward 견고성을 개선하는 연구들이 존재한다.
• Gap: 기존 방법들은 uncertainty를 다음 실험 대상을 고르는 active-learning 문제나 reward model averaging을 통한 robustness 개선에 사용할 뿐, optimization 과정 자체가 surrogate reward를 out-of-distribution 고득점 영역으로 밀어넣어 reward가 spurious optimism을 반영하게 되는 steering-specific distribution shift 문제를 다루지 않는다. 또한 sparse한 고비용 high-fidelity 평가(R2)를 어떻게 최적화 이전 단계에서 reward calibration 신호로 활용할지에 대한 체계적 프레임워크가 부재하다.
• Why: 단백질 공학에서 surrogate reward를 과도하게 최적화한 후보가 실제 wet-lab 검증에서 활성 상실, misfolding, feasibility 제약 위반 등으로 실패하면 직접적인 실험 비용 손실이 발생하므로, 최적화 이전에 reward의 신뢰 가능 영역을 파악하고 보정하는 것은 생성형 단백질 설계의 실용성과 신뢰성을 높이는 데 중요하다.
• Approach: FiCS는 candidate 선택을 primary reward 하에서 높은 점수를 얻으면서 sparse하게 query된 high-fidelity evaluator 기준의 feasibility 제약을 만족해야 하는 constrained surrogate optimization 문제로 정식화하고, resampling 기반 reward 안정성, sparse oracle과의 concordance, base-model plausibility 세 가지 신호를 결합한 reliability-adjusted reward로 point-estimate surrogate를 대체한다.

Achievement

1. 이론적 보장 제시: oracle-concordance score가 sparse feedback 하에서 concentration하고, FiCS score가 estimation error에 대해 안정적이며, 선택 경계에서 score gap이 충분히 크면 FiCS로 선택된 후보가 oracle-optimal solution과 일치함을 증명하였다.
2. 합성 벤치마크 및 renin in silico 실험에서의 실증적 개선: point-estimate 및 unweighted ensemble baseline 대비 oracle feasibility가 높은 후보를 선택하면서도 primary-reward 성능을 유지함을 보였다.
3. small-batch 환경에서의 강점 확인: 후보 수가 적어 신뢰성 있는 우선순위 지정이 중요한 상황에서 FiCS의 성능 향상 폭이 가장 크게 나타남을 확인하였다.
4. 모듈형 프레임워크 구축: resampling ensemble stability, sparse oracle concordance, base-model support를 통합한 reliability-adjusted reward를 다양한 reward-guided steering 파이프라인(best-of-N, reranking, fine-tuning, distributional steering)에 적용 가능한 형태로 설계하였다.

How

• 후보 x에 대해 pretrained generative model의 reference density p0(x), 저비용 primary reward R1(학습된 fitted point-estimate model bf 및 resampled ensemble {bf_k}), 고비용 high-fidelity evaluator R2(sparse하게만 평가 가능)를 정의
• reward-guided generative design을 primary reward를 최대화하면서 sparse하게 query되는 high-fidelity evaluator 기준 feasibility threshold를 만족해야 하는 constrained surrogate optimization 문제로 공식화
• 세 가지 신호를 결합: (1) 여러 resampled fitted reward 모델 {bf_k} 간의 resampling-based ensemble stability, (2) sparse high-fidelity feedback과의 concordance(oracle-concordance score), (3) base model p0 하에서의 plausibility
• 이 세 신호를 통합해 point-estimate reward를 대체하는 reliability-adjusted steering signal(FiCS score)을 구성하고, 이를 다양한 test-time steering 파이프라인(best-of-N, classifier-guided generation, distributional steering 등)에 삽입하여 후보를 선택
• concentration, stability, oracle-optimal recovery에 대한 이론적 분석을 수행
• 합성 벤치마크와 renin 표적에 대한 in silico 실험(단백질 localization task 포함)으로 30개 seed에 걸쳐 검증

Originality

• reward-guided steering 문제를 "reward를 어떻게 최적화할 것인가"가 아니라 "그 reward가 애초에 최적화할 만큼 신뢰할 수 있는가"라는 upstream 질문으로 재구성한 점이 기존 test-time alignment 연구(예: DAS의 tempered SMC)와 차별화됨
• sparse high-fidelity feedback을 새로운 generator 학습이나 dense relabeling이 아니라 reward reliability 평가 및 calibration 신호로 활용하는 저-oracle(low-oracle) regime 전용 프레임워크를 제안
• resampling stability, oracle concordance, base-model plausibility 세 신호를 결합한 modular reliability score와 이에 대한 concentration/stability/oracle-optimal recovery 이론적 보장을 함께 제시

Limitation & Further Study

• 발췌된 본문에서 이론적 보장의 구체적 가정(score gap의 크기, sparse feedback 표본 수 조건 등)이 실제 응용에서 얼마나 현실적인지에 대한 심층 논의가 제한적으로 보임
• 검증이 합성 벤치마크와 renin in silico 실험에 국한되어 있어, 실제 wet-lab 실험 기반 검증(진짜 experimental feedback)으로의 확장이 후속 과제로 필요함
• FiCS가 결합하는 세 신호(resampling stability, oracle concordance, base-model plausibility)의 가중치 결합 방식과 hyperparameter 민감도에 대한 분석이 abstract 및 발췌 부분에서는 명확히 드러나지 않음
• sparse high-fidelity evaluator를 선택하는 subset sampling 전략(어떤 후보를 query할지) 자체의 최적화 문제는 본 연구 범위 밖으로 남아있어, active-learning 기법과의 결합 가능성에 대한 후속 연구가 기대됨

Evaluation

총평: Reward-guided 단백질 설계에서 reward hacking 문제를 최적화 이전 단계의 reward calibration 관점으로 재구성하고 이론적 보장까지 갖춘 실용적 프레임워크를 제시한 점에서 완성도 높은 연구이나, 실제 wet-lab 검증으로의 확장성과 hyperparameter 민감도에 대한 추가 검증이 필요하다.