Reinforcement-guided generative protein language models enable de novo design of highly diverse AAV capsids

Motivation

• Known: Protein language model은 대규모 사전학습으로 생물학적으로 타당한 단백질 서열을 생성할 수 있으며, AAV 벡터는 유전자 치료의 주요 전달 플랫폼이다.
• Gap: 기존 VAE 기반 방법은 학습 데이터 분포에 편향되어 있고 새로운 기능을 가질 수 있는 먼 거리의 서열 공간 탐색에 제한이 있다.
• Why: 새로운 기능 특성을 가진 AAV 캡시드 발견으로 면역원성 감소, 안정성 향상, 조직 특이성 변경 등이 가능하여 유전자 치료의 치료 범위를 확대할 수 있기 때문이다.
• Approach: ProGen PLM을 AAV 캡시드 viability 데이터셋으로 fine-tuning한 후, 예측된 viability와 서열 novelty를 동시에 보상하는 reinforcement learning으로 생성 과정을 가이드한다.

Achievement

Figure 4 | Sequence embedding-based analysis of novelty and viability. Unique sequences from each design

• Fine-tuning vs Reinforcement learning 비교: 순수 fine-tuning은 높은 예측 viability를 보이나 학습 분포에 편향된 반면, RL-guided 생성은 높은 viability를 유지하면서 서열 공간의 더 먼 영역에 도달한다
• Dual-branch 보상 설계: ESM2 임베딩 기반 diversity branch로 서열 novelty를, viability classifier로 기능 제약을 동시에 최적화한다
• 후보 선택 전략: 예측 viability, 서열 novelty, 생물물리학적 성질을 통합한 다단계 필터링으로 실험 평가 대상을 우선순위화한다
• AAV 캡시드 설계 선구 사례: PLM 기반 생성 모델을 AAV 캡시드 생물공학에 처음 적용하는 프레임워크 구축

How

Figure 1 | Overview of training and sequence generation strategies. The pre-trained, general-purpose ProGen model

• ProGen 사전학습 모델을 AAV2 캡시드 viability 데이터셋(Bryant et al. 2021)으로 fine-tuning
• Reinforcement learning 아키텍처에서 viability branch는 학습된 분류기로, diversity branch는 frozen ESM2 임베딩으로 cosine distance 기반 novelty 정량화
• 두 branch의 보상을 결합한 결합 목적함수로 모델 가중치 업데이트
• Mutational landscape 분석으로 deletion, insertion, substitution 패턴 검증
• 생성된 서열의 구조적 타당성을 cryo-EM 구조 정보와 비교 검증

Originality

• PLM fine-tuning과 reinforcement learning을 결합한 AAV 캡시드 설계 방법론의 선구적 적용
• ESM2 임베딩의 frozen representation을 novelty 신호로 활용하는 새로운 접근
• 생물물리학적 성질(polarity, charge) 기반 다단계 후보 선택 전략의 도입
• 학습 분포 밖 탐색(out-of-distribution exploration)과 기능 제약 유지의 균형을 체계적으로 해결

Limitation & Further Study

• ProGen 사용으로 최신 ESM3 등 더 강력한 PLM 활용 불가 - 향후 계산 효율 개선시 최신 모델 적용 검토 필요
• 실제 실험 검증 결과 미제시 - 생성된 서열의 in vitro/in vivo 기능성 평가 필수
• 단일 단백질(AAV2 캡시드)에 대한 검증 - 다른 AAV 혈청형 및 단백질에 대한 일반화 가능성 확인 필요
• 보상 함수의 가중치 조정(novelty vs viability balance)에 대한 민감도 분석 부재

Evaluation

총평: PLM과 reinforcement learning을 창의적으로 결합하여 생성 모델의 근본적 한계인 학습 분포 편향을 해결하고 AAV 캡시드 생물공학에 실질적으로 적용 가능한 체계적 프레임워크를 제시한 우수한 연구이나, 실험적 검증이 선행되어야 임상 적용 가능성을 판단할 수 있다.