Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding

Motivation

• Known: Diffusion models는 이미지, 분자, 생물학적 서열 생성에서 강력한 성능을 보였다. 기존의 보상 최적화 방법으로는 classifier guidance (미분 가능한 프록시 모델 필요), classifier-free guidance, RL-based fine-tuning 등이 있으나, 미분 불가능한 보상 함수를 직접 활용할 수 없거나 계산 비용이 크다는 문제가 있다.
• Gap: 기존 방법들은 (1) 미분 가능한 프록시 모델 구성이 필수적이어서 분자 설계나 단백질 서열 생성 등에서 흔히 사용되는 미분 불가능한 특징이나 피드백을 직접 활용할 수 없고, (2) 이산 diffusion models에 원칙적으로 적용하기 어렵다는 한계가 있다.
• Why: 비생물리학적 시뮬레이션(Vina, Rosetta) 등 미분 불가능한 보상 함수는 분자 설계, 단백질 공학, 생물 서열 최적화 등의 실제 응용에서 매우 중요하며, 최근 이산 diffusion models의 빠른 발전으로 이들을 지원하는 일반화된 방법의 필요성이 높다.
• Approach: Soft value functions v(x_{t-1}) := E[r(x_0)|x_{t-1}]를 도입하여 중간 노이즈 상태가 미래에 높은 보상으로 이어지는 방식을 예측한다. 추론 시에 pre-trained diffusion model에서 여러 노이즈 상태를 생성하고 각 타임스텝에서 value function이 가장 높은 샘플을 선택한다. SVDD-MC와 SVDD-PM 두 가지 변형을 제시하며, 특히 SVDD-PM은 diffusion model의 forward process 특성을 활용하여 추가 학습 없이 작동한다.

Achievement

Figure 1: Summary of SVDD. v denotes value

이미지 생성: 미분 불가능한 보상 함수로 이미지 조건부 생성 성공 / 분자 생성: Docking score, QED, SA 점수 최적화에서 높은 성능 달성 / DNA/RNA 생성: 활성도 수준 최적화에서 효과 입증 / 방법론적 기여: Fine-tuning 불필요, 비차별화 보상 직접 사용 가능, 이산 diffusion models에 통일된 방식으로 적용 가능 / 계산 효율성: Pre-trained 모델 활용으로 학습 비용 절감

How

Figure 1: Summary of SVDD. v denotes value

• Soft value function을 통한 look-ahead 메커니즘으로 중간 상태의 장기 가치 평가
• Denoising process 동안 각 타임스텝에서 최고 value를 가진 샘플 선택하는 greedy 디코딩
• SVDD-MC: Monte Carlo 샘플링을 통한 value function 학습
• SVDD-PM: Diffusion model의 forward process를 이용한 직접 추정 (학습 불필요)
• 연속/이산 diffusion models 모두에 적용 가능한 통일된 프레임워크

Originality

• 미분 불가능한 보상 함수를 diffusion models에 직접 통합하는 새로운 접근법
• Soft value functions 기반의 look-ahead 디코딩이 기존 best-of-N이나 classifier guidance와 차별화됨
• Diffusion model의 forward process 특성을 창의적으로 활용한 SVDD-PM 알고리즘 (학습 없이 작동)
• 연속 및 이산 diffusion models을 통일적으로 처리하는 프레임워크 제시

Limitation & Further Study

• SVDD-MC는 여전히 value function 학습이 필요하므로 완전 무학습이 아님 / - 각 타임스텝에서 다중 샘플 생성으로 인한 추론 시간 증가 (M배 증가) / - 복잡한 보상 함수 구조에서 value function 근사의 정확도 의존성 / - 이산 diffusion models에서의 탐색 공간이 매우 크면 그리디 선택의 한계 가능 / 후속 연구: Value function 근사 개선 방법, 추론 비용 최적화 기법 연구 필요

Evaluation

총평: 본 논문은 미분 불가능한 보상 함수 최적화와 이산 diffusion models 지원이라는 중요한 문제를 해결하는 실용적이고 원칙적인 방법을 제시한다. 이론적 근거가 충분하고 다양한 응용 도메인에서 실증적 성과를 보여주는 수준 높은 연구이다. 추론 비용 증가라는 제약이 있으나 생물학 및 화학 분야의 실제 응용성이 높아 게재 가치가 있다.