GenCircuit-RL: Reinforcement Learning from Hierarchical Verification for Genetic Circuit Design

Motivation

• Known: 합성생물학에서는 SBOL이라는 형식 표준을 통해 프로모터, RBS, CDS, 터미네이터 등 표준화된 생물학적 부품을 조합하여 논리, 메모리, 진동 등의 기능을 구현하는 유전 회로를 설계할 수 있으며, 최근 EDA(electronic design automation) 분야에서는 기능적 서브회로 단위 추상화가 탐색 공간을 줄이는 데 효과적임이 알려져 있다.
• Gap: 기존 유전 회로 설계는 반복적인 design-build-test-learn 주기와 전문가 개입에 크게 의존하는 노동집약적 과정이며, 언어모델을 활용한 검증 가능 보상 기반 강화학습(RLVF)을 적용하려 해도 회로 실패가 코드 실행, SBOL 유효성, 구조, 의미, 기능 등 여러 층위에서 발생함에도 binary reward는 이 모든 실패 양상을 하나의 결과로 뭉뚱그려 reasoning-intensive task에서의 학습 신호를 약화시킨다.
• Why: 유전 회로는 형식적 명세와 조합적 구조, 방대한 설계 공간에 대한 탐색이 결합된 문제로, 바이오센싱·치료제·바이오생산 등 실제 응용을 가진 합성생물학 분야에서 언어모델 기반 설계 자동화의 가능성을 열어줄 수 있어 중요하다.
• Approach: 회로 생성을 pysbol3 코드 생성 문제로 정식화하고, 실행-유효성-구조-의미-기능의 5단계로 정확성을 분해한 계층적 검증 보상과 이를 활용하는 4단계 커리큘럼을 GRPO(Group Relative Policy Optimization)로 학습하는 GenCircuit-RL 프레임워크를 제안한다.

Achievement

Figure 2. Verification level success rates on the Procedural-

1. SynBio-Reason 벤치마크 구축: 절차적 생성, Cello 설계 도구, 합성생물학 문헌의 canonical 회로로부터 6가지 회로 유형과 9개 과제(코드 수리부터 de novo 설계까지)에 걸친 4,753개 회로를 구성하고, held-out 생물학적 부품을 통한 out-of-distribution 평가를 지원하는 최초의 언어모델용 유전 회로 추론 프로토콜을 제시했다.
2. 계층적 검증 보상과 커리큘럼 학습 결합: 5단계 검증(실행, 유효성, 구조, 의미, 기능)을 형식화하고 코드 생성에서 과제별 정확성으로 최적화 압력을 이동시키는 4단계 커리큘럼을 GRPO와 결합한 학습 프레임워크를 개발했다.
3. 성능 향상 입증: 계층적 보상이 기능 추론 과제에서 binary reward 대비 14~16%p의 성공률 향상을 가져오고, 커리큘럼 학습이 강력한 설계 성능에 필수적임을 보였으며, held-out repressor-promoter 쌍에서 52.6% 성공률을 달성하고 Llama-3.1-8B, Gemma-3-12B 등 여러 모델 계열에서 경향성이 재현됨을 확인했다.
4. 생성 능력의 질적 검증: 훈련된 모델이 위상학적으로 올바른 회로를 생성하고 신규 생물학적 부품에 일반화하며 합성생물학 문헌의 canonical 설계를 재발견함을 보였다.

How

Figure 1. GenCircuit-RL system overview. Zone 1: We construct 4,753 circuits from three sources (procedural generation,

• 유전 회로를 P→RBS→CDS→T 순서의 발현 카세트와 억제자/활성자 매개 조절 상호작용으로 구성된 구조로 정의하고, 발현 카세트, 논리 게이트, feed-forward loop, toggle switch, oscillator, cascaded circuit의 6가지 canonical 회로 유형으로 데이터셋을 구성.
• Component 추상화 수준에서 코드 생성을 수행하도록 하여, 원시 SBOL(RDF/XML) 직접 생성 대신 pysbol3 라이브러리를 사용하는 Python 코드 ĉ를 생성하고 이를 실행해 SBOL 문서 d̂=exec(ĉ)를 얻은 뒤 검증 함수 V(d̂, x)∈[0,1]로 평가.
• iGEM Registry와 Cello characterized collection에서 가져온 48개 생물학적 부품(10개 orthogonal repressor-promoter 쌍을 훈련용 5개, held-out 5개로 분리)을 사용해 회로를 절차적으로 생성하고, regulatory depth, fan-in, feedback indicator, node count 등 복잡도 파라미터로 균형 잡힌 분포를 샘플링.
• Cello 설계 도구에서 얻은 111개 실험적으로 검증된 실제 회로(E. coli, S. cerevisiae)를 in-distribution 71개, held-out repressor 기반 out-of-distribution 40개로 나누어 일반화 평가에 활용.
• 코드 실행→SBOL 유효성→구조→의미→기능의 5단계 계층적 검증 보상을 설계하여 상위 단계 통과가 하위 단계 통과를 전제로 하는(승법적 의존성) 구조로 reward hacking을 방지하면서 조밀한 학습 신호를 제공.
• 코드 기초에서 구조적 조립, 기능적 추론, de novo 설계로 최적화 압력을 점진적으로 이동시키는 4단계 커리큘럼을 GRPO로 학습.

Originality

• 유전 회로 설계를 formal, machine-readable SBOL 표준과 결합된 code generation 문제로 정식화하여 RLVF(reinforcement learning from verifiable feedback)를 합성생물학 도메인에 최초로 적용.
• 단순 binary reward가 아닌 실행-유효성-구조-의미-기능의 5단계 승법적 계층 구조를 갖는 검증 보상을 설계하여 sparse reward 문제와 reward hacking을 동시에 완화.
• 코드 생성 난이도와 검증 강조점에 따라 단계적으로 압력을 이동시키는 4단계 커리큘럼을 결합해, EDA 분야의 기능적 서브회로 추상화 아이디어를 합성생물학에 접목.
• held-out 생물학적 부품 및 canonical 문헌 회로를 포함한 SynBio-Reason이라는 최초의 종합적 유전 회로 추론 벤치마크를 구축.

Limitation & Further Study

• 벤치마크의 상당 부분이 절차적으로 생성된 합성 데이터에 의존하므로, 실제 생물학적 복잡성(예: 발현 노이즈, context 의존성, 숙주-부품 상호작용)을 충분히 반영하지 못할 가능성이 있다.
• 평가가 SBOL 문서 및 코드 수준의 위상학적/기능적 정합성에 초점을 맞추고 있어, 실제 wet-lab 검증이나 실험적 기능 확인 없이 in silico 검증에 그친다는 한계가 있다.
• 6가지 canonical 회로 유형과 48개 부품으로 다양성이 제한적이며, 더 복잡한 다층 회로나 다른 숙주 생물(예: 포유류 세포)로의 일반화는 추가 검증이 필요하다.
• 후속 연구로는 실제 실험 데이터와의 closed-loop 통합, wet-lab 피드백을 포함한 실제 design-build-test-learn 사이클과의 연계, 더 넓은 범위의 생물학적 부품과 회로 위상으로의 확장이 필요하다.

Evaluation

총평: 합성생물학과 LLM 기반 RLVF를 결합한 독창적이고 실용적인 시도로, 계층적 검증 보상과 커리큘럼 학습의 효과를 체계적으로 입증했다는 점에서 의미가 크지만, 실제 wet-lab 검증 부재와 절차적 데이터 의존성은 향후 실질적 임팩트를 위해 보완이 필요한 부분이다.