Effects of Structural Reward Shaping on Biophysical Properties in RL-Trained Plasmid Generators

Motivation

• Known: DNA foundation model(예: PlasmidGPT, HyenaDNA 기반 TACO, GENERator)들이 genomic sequence 생성에 활용되어 왔고, RL post-training(GRPO 등)은 NLP에서 instruction following과 reasoning 개선에 효과적임이 알려져 있다.
• Gap: 기존 RL 기반 DNA 설계 연구는 promoter/enhancer 등 1kb 미만의 짧은 regulatory element에 국한되었고, 수 kb에 걸쳐 여러 기능 요소(ORI, marker, cassette)를 동시에 조율해야 하는 whole multi-gene plasmid 생성에는 RL post-training이 적용된 바 없었다.
• Why: plasmid engineering은 비용이 크고 휴리스틱 의존적인 고차원 최적화 문제이며, RL reward shaping이 직접 최적화하지 않은 생물물리학적 특성(3-mer 조성, MFE density)까지 실제 plasmid 분포로 수렴시킬 수 있는지 규명하는 것은 생성 모델의 일반화 가능성과 생물학적 타당성 평가에 중요하다.
• Approach: PlasmidGPT에 기능적 annotation, length constraint, repeat penalty를 인코딩한 생물학적 동기의 reward function을 설계하고 GRPO로 RL post-training을 수행한 뒤, 사전학습 baseline 및 SFT 모델과 QC 통과율·distributional 정렬·hold-out log-likelihood를 비교했다.

Achievement

Figure 3. Per-plasmid log-probability on 29 held-out non-Addgene

1. QC 통과율 대폭 향상: RL 모델이 8개 prompt, 4,000개 서열에 걸쳐 71.6% QC 통과율을 달성하여 사전학습 baseline(4.3%)과 SFT(11.0%)를 크게 상회함.
2. 핵심 reward 요소 규명: 5개 모델 reward ablation을 통해 promoter→CDS→terminator 순서를 보상하는 cassette arrangement bonus가 성능의 핵심 요인임을 확인(제거 시 통과율 66.9%→19.8%로 급락).
3. 진짜 분포 이동 입증: rejection sampling baseline 비교로 RL의 성능 향상이 base model에서의 단순 필터링/샘플링 증가로는 재현되지 않음을 보임(Base 4.3% vs RL 71.6%).
4. 비최적화 특성의 수렴: reward function이 직접 최적화하지 않은 3-mer 조성과 minimum free energy(MFE) density가 RL 생성 서열에서 실제 plasmid 분포로 수렴했으며, MFE density는 SFT와 RL이라는 서로 다른 post-training 경로에서 독립적으로 동일하게 수렴함.
5. Hold-out 성능 개선: 29개의 non-Addgene curated hold-out 서열 전부에서 RL이 사전학습 baseline 대비 continuation log-likelihood를 향상시킴(평균 Δ=+0.83 nats), CDS-junction surprisal에서도 우위.

How

Figure 1. Plasmid-RL training pipeline. GRPO is applied to PlasmidGPT using a reward function encoding functional annota

• PlasmidScope와 Addgene에서 큐레이션된 약 15k E. coli plasmid corpus로 SFT baseline을 구성(기존 연구 재사용)
• PlasmidGPT의 BPE DNA tokenizer를 사용하여 시퀀스를 토큰화, 256-token 생성 한계는 약 5-15kb에 대응
• GRPO를 적용해 stochastic(4-25bp random seed) 또는 structured(cassette seed) prompt로부터 autoregressive rollout을 생성하고 sequence-level reward로 policy 업데이트
• reward function은 (i) Pyrodigal 기반 CDS 탐지를 포함한 functional annotation scoring(ORI, promoter, terminator, CDS, marker 개수 및 cassette arrangement bonus), (ii) 3-6kb에서 최대 보너스를 주는 length prior, (iii) 긴 exact repeat에 페널티를 주는 repeat penalty로 구성
• 5개 모델에 대한 reward ablation, rejection sampling baseline, 29개 non-Addgene hold-out set에서의 log-likelihood 및 CDS-junction surprisal 평가로 검증

Originality

• NLP에서 검증된 GRPO를 whole-plasmid(수 kb, 다중 기능 요소) 생성이라는 새로운 도메인에 최초로 적용
• 기존 RL 기반 DNA 설계 연구(TACO, GENERator)가 짧은 regulatory element에 국한된 것과 달리, 여러 기능 컴포넌트를 동시에 조율해야 하는 whole-plasmid 스케일로 확장
• SME(subject matter expert) 지식을 반영한 생물학적으로 동기화된 reward function 설계(cassette arrangement bonus 등)
• reward에 직접 포함되지 않은 3-mer 조성, MFE density 같은 emergent biophysical 특성의 분포적 수렴을 관찰하여 RL이 단순 reward hacking을 넘어선 일반화된 서열 특성 학습을 유도함을 제시

Limitation & Further Study

• 연구 범위가 engineered E. coli expression vector(Addgene 기반)로 한정되어 자연/환경 plasmid(PLSDB 등)에는 적용되지 않음
• hold-out 평가 세트가 29개로 매우 작아 통계적 일반화에 한계가 있음
• QC 파이프라인과 reward function이 사전 정의된 annotation 도구(Pyrodigal)와 SME 휴리스틱에 의존하므로, 실제 wet-lab 검증(기능적 발현, 안정성 등)이 제한적임
• 후속 연구로 더 넓은 host organism, 자연 plasmid, 실제 실험적 검증(wet-lab validation)으로의 확장이 필요함

Evaluation

총평: GRPO를 whole-plasmid 생성이라는 새로운 도메인에 최초로 적용해 QC 통과율을 크게 개선하고, reward에 명시되지 않은 생물물리학적 특성까지 실제 plasmid 분포로 수렴시켰음을 체계적 ablation과 baseline 비교로 입증한 견실한 연구이나, wet-lab 검증과 hold-out 규모 확대가 향후 과제로 남는다.