Pushing Biomolecular Utility-Diversity Frontiers with Supergroup Relative Policy Optimization

Motivation

• Known: RL 기반 post-training(예: REINVENT, GCPN, ProteinZero 등)은 pretrained biomolecular generator를 property score나 docking proxy 같은 utility reward로 미세조정하는 데 널리 쓰이며, memory- 혹은 history 기반 novelty penalty를 통해 다양성을 유도하는 방법들도 존재한다.
• Gap: 기존 diversity-promoting 방법들은 특정 generator 구조에 종속되거나 과거 샘플과의 novelty라는 간접적 대리 지표에 의존하기 때문에, 현재 조건 하에서 생성된 candidate set 자체의 diversity를 직접적인 최적화 대상(first-class objective)으로 다루지 못하며, 유용한 high-density mode를 과도하게 억제하거나 분포 drift를 유발할 수 있다.
• Why: Diversity는 본질적으로 set-level 속성인데 policy optimization은 개별 rollout 단위로 업데이트되므로, 이 둘 사이의 간극을 특정 generator나 metric에 종속되지 않고 일반적으로 해소하는 방법은 다양한 생성 모델 계열(autoregressive, discrete diffusion)과 도메인(분자, 단백질)에 폭넓게 적용 가능한 post-training 원칙을 제공한다는 점에서 중요하다.
• Approach: 동일 조건 하에서 여러 candidate set으로 구성된 supergroup을 샘플링하여 set 간 diversity를 비교하고, leave-one-out diversity contribution을 통해 group-level diversity reward를 개별 rollout에 재분배한 뒤 rollout-level utility와 결합하는 GRPO-style advantage를 구성한다.

Achievement

Figure 2. Utility–diversity operating points for de novo small-molecule design, pocket-based small-molecule design, and

1. SGRPO 프레임워크 제안: 특정 generator, utility reward, diversity metric에 종속되지 않고 GRPO 및 Coupled-GRPO 등 다양한 GRPO-style optimizer로 인스턴스화 가능한 set-level diversity 보상 프레임워크를 제시했다.
2. 다양한 도메인·모델에서의 검증: de novo small-molecule design(GenMol), pocket-based small-molecule design(GenMol-P), de novo protein design(ProGen2) 등 autoregressive와 discrete diffusion 생성기에 걸쳐 SGRPO를 적용해 범용성을 입증했다.
3. Pareto frontier 확장: decoding sweep(예: temperature) 전반에 걸쳐 SGRPO가 pretrained generator, GRPO, memory-assisted GRPO 대비 utility-diversity Pareto frontier를 확장하고 frontier-level metric에서 최고 성능을 달성했다.
4. Small group에서도 효과적: 작은 group size에서도 direct set-level diversity reward가 효과를 유지하며, post-training 중 생성 분포의 broader coverage를 더 잘 보존함을 분석으로 보였다.

How

Figure 1. Overview of SGRPO. For each condition, SGRPO samples a same-condition supergroup, computes rollout-level utili

• 조건부 generator πθ(x|C)를 가정하고, 개별 candidate에는 utility score r(x,C)를, K개 candidate로 구성된 set G={x1,...,xK}에는 set-level diversity score D(G)를 정의.
• 각 조건 C에 대해 여러 개의 candidate set(=supergroup)을 샘플링하고, 동일 조건에서 생성된 다른 set들과만 비교하여 diversity reward를 산출.
• leave-one-out diversity contribution을 계산해 set-level diversity reward를 set 내 개별 rollout에 재분배함으로써 policy gradient에 사용 가능한 개별 credit을 부여.
• 재분배된 diversity reward를 rollout-level utility reward와 결합하여 supergroup-relative advantage를 구성하고, 이를 GRPO 및 Coupled-GRPO 두 종류의 GRPO-style optimizer에 적용.
• decoding strategy a(예: 온도)를 변화시켜 얻어지는 attainable utility-diversity pair 집합 P(θ)를 정의하고 Pareto frontier 관점에서 U(θ,a)와 V(θ,a)를 동시에 평가.
• 세 가지 생성 과제(비조건부 분자 생성 GenMol, pocket 조건 분자 생성 GenMol-P, 비조건부 단백질 생성 ProGen2)에서 pretrained generator, 일반 GRPO, memory-assisted GRPO와 비교.

Originality

• 다양성을 개별 rollout이 아닌 set-level 속성으로 명시적으로 정의하고, 이를 직접 보상으로 구성하는 first-class objective로 다룬 점이 기존 novelty penalty 기반 접근과 근본적으로 차별화된다.
• Supergroup 개념을 도입하여 동일 조건에서 여러 candidate set을 비교함으로써 set-level 신호를 GRPO의 group-relative advantage 구조에 자연스럽게 결합했다.
• Leave-one-out diversity contribution을 통해 set-level 보상을 개별 rollout에 재분배하는 credit assignment 메커니즘이 참신하다.
• Generator, utility reward, diversity metric에 독립적인 model-agnostic 설계로, GRPO와 Coupled-GRPO 두 optimizer 및 autoregressive·discrete diffusion 두 생성 패러다임에 모두 적용 가능함을 보여 일반성을 확보했다.

Limitation & Further Study

• Diversity metric(D(G))의 구체적 선택이 결과에 미치는 민감도나 도메인별 최적 metric 설계에 대한 심층 분석이 제한적일 수 있다.
• Supergroup 크기 및 set 크기 K에 따른 계산 비용 증가와 대규모 조건 공간에서의 확장성에 대한 추가 검증이 필요하다.
• 평가가 workshop-scale 실험(세 가지 태스크)에 국한되어 있어, 더 복잡한 multi-objective 상황이나 실제 wet-lab 검증으로의 확장은 향후 과제로 남아있다.
• Pareto frontier 비교가 decoding sweep(온도 등)에 의존하는데, 이러한 하이퍼파라미터 선택 전략 자체의 일반화 가능성에 대한 논의가 부족하다.

Evaluation

총평: Set-level diversity를 GRPO 프레임워크에 직접 통합하는 아이디어가 개념적으로 명확하고 여러 도메인·모델에서 일관된 개선을 보여주는 견실한 연구로, biomolecular generation의 post-training 다양성 문제에 실용적이고 일반화 가능한 해법을 제시한다.