Parameter-Efficient Adaptation of a Pretrained Language Model via Soft Prompt Tuning Enables Hit-Enriched Conditional Cell Line-Specific Generation of Cell-Penetrating Peptides

Motivation

• Known: CPP는 세포막을 통과해 다양한 치료용 화물을 전달할 수 있는 짧은 아미노산 서열로, 기존 계산 방법들은 대부분 CPP 활성 여부를 판별하는 discriminative 모델(분류기)에 집중되어 왔고, 최근 일부 생성 모델 연구도 존재하나 이들은 후보 서열의 분포를 학습하는 데 그친다.
• Gap: 기존 생성 모델들은 cell line specificity를 고려하지 않는데, 실제로는 세포막 조성과 수용체 프로파일 차이로 인해 CPP의 세포 침투 효율이 세포주마다 크게 달라지며, 또한 CPP 데이터 자체가 희소하고 이질적이며 표준화가 미흡해 제한된 supervision 하에서 기능적이고 세포주 특이적인 CPP를 생성하는 문제는 충분히 탐구되지 않았다.
• Why: CPP 설계는 종양학, 유전자 치료, 혈뇌장벽 극복 등 다양한 치료적 응용에서 중요한데, 본 연구는 데이터가 극도로 제한된 생물학적 도메인에서도 조건부 생성 모델링이 실현 가능함을 보여줌으로써 예측 중심 펩타이드 모델링에서 제어 가능한 기능 지향적 분자 설계로 나아가는 확장 가능한 청사진을 제공한다.
• Approach: POSEIDON 등 다수 데이터베이스에서 수집·표준화한 CPP/non-CPP 데이터셋을 기반으로, ProtGPT2를 soft-prompt tuning을 포함한 여러 PEFT(parameter-efficient fine-tuning) 전략으로 조건부 미세조정하고, 엄격한 데이터 분리와 active sampling, 그리고 별도의 calibrated classifier를 통한 사후 필터링으로 기능성 후보를 강화하는 접근을 취한다.

Achievement

Figure 5. Active sampling implementation results. A - Performance metrics of the classifier trained on active sampling s

1. 데이터 표준화 파이프라인 구축: 5,211개 CPP 및 3,793개 non-CPP 엔트리를 통합하고 13개 카테고리로 정규화, 화학적 변형(N-말단 아세틸화, biotinylation, 고리화 등) 및 D-아미노산 정보를 binary flag로 추출하여 1,781개 고유 CPP와 1,321개 고유 non-CPP 서열을 확보했다.
2. 다층적 feature engineering: SMILES 기반 Morgan fingerprint, 해석 가능한 19개 물리화학적 feature, ProtBERT-BFD 임베딩, BLOMAP 등 화학구조 및 서열 기반 표현을 모두 구축하여 예측 모델 입력으로 활용했다.
3. 고성능 calibrated classifier 개발: F1 = 0.847, precision = 0.952를 달성하는 CPP 활성 예측 분류기를 독립적으로 개발하여 생성 서열의 신뢰성 있는 사후 선별을 가능케 했다.
4. conditioning 전략 비교 및 soft-prompt tuning의 우수성 입증: 여러 조건화 전략 중 soft-prompt tuning이 기능적 enrichment, 다양성, 서열 수준의 novelty 사이에서 가장 좋은 균형을 제공함을 보였다.
5. 외부 검증: PMIPred를 이용한 독립적 외부 검증에서 생성된 서열들이 membrane-active peptide 쪽으로 강하게 enrichment됨을 확인했다.

How

Figure 3. Overview of the framework.

• POSEIDON, CellPPD, AiCPP, KELM-CPPpred, TargetCPP 등 다수의 공개 데이터베이스와 리뷰·실험 논문에서 CPP/non-CPP 서열을 수집 및 통합
• 정규식 기반 패턴 매칭으로 화학적 변형(아세틸화, biotinylation, 아미드화, 고리화, 인산화 등) 및 D-아미노산 여부를 8개 binary feature로 인코딩하고, cleaning을 통해 canonical AA 서열 확보
• 서열 중심 중복 제거 및 CPP/non-CPP 라벨 상충 서열에 대한 three-class labeling(yes/no/both) 시스템 도입, 이진 분류·생성 과제에는 both를 non-CPP로 처리
• SMILES 변환(RDKit MolFromSequence 및 커스텀 변형 처리) 후 Morgan fingerprint(1024-bit, radius 2) 및 19개 interpretable feature(길이, 변형 flag, cationicity·hydrophobicity·helicity 등 BioPython descriptor) 추출
• ProtBERT-BFD의 frozen 모델에서 mean-pooled 1024차원 임베딩과 BLOMAP(11차원 AA 인코딩, BLOSUM62 기반 MDS + 물리화학적 속성) 추출
• 이러한 feature들을 이용해 calibrated CPP 활성 분류기 학습 및 엄격한 dataset 분리(정보 누출 방지)와 active sampling으로 저데이터 환경에서의 강건성 확보
• ProtGPT2에 대해 soft-prompt tuning을 포함한 여러 PEFT 조건화 전략을 적용하여 cell line 조건부 CPP 생성 모델 구축, hyperparameter optimization 수행
• 생성된 서열을 독립 분류기로 필터링하고 PMIPred를 통한 외부 검증으로 membrane-active 특성 확인

Originality

• CPP 생성에 있어 cell line specificity를 명시적 제어 변수로 도입한 최초의 조건부 생성 프레임워크로 보임
• 사전학습된 protein language model(ProtGPT2)에 soft-prompt tuning을 포함한 parameter-efficient adaptation을 적용해 극도로 데이터가 제한된 생물학적 도메인에서도 조건부 생성을 가능하게 함
• 엄격한 dataset separation과 active sampling을 결합해 정보 누출을 방지하면서 저데이터 환경에서의 강건성을 확보하는 방법론적 조합
• 생성-예측-외부검증(PMIPred)으로 이어지는 폐루프 파이프라인을 구성하여 생성 모델의 기능적 신뢰도를 다각도로 검증

Limitation & Further Study

• 데이터셋 자체가 다양한 출처에서 수집된 이질적이고 소규모(수천 개 수준) 데이터로, 라벨 상충(both 카테고리)이 존재해 근본적인 데이터 품질 한계가 여전히 남아있음
• cell line 특이성에 대한 실제 wet-lab 검증 없이 계산적 예측 모델과 외부 예측 도구(PMIPred)에 의존한 평가로, 생물학적 실효성에 대한 직접적 실험 검증이 부족함
• soft-prompt tuning 외 다른 conditioning 전략과의 비교가 제한적으로 설명되어 있어, 왜 soft-prompt가 우월한지에 대한 메커니즘적 해석이 더 필요함
• 향후 연구로 실제 세포 침투 실험을 통한 생성 서열의 실험적 검증, 더 다양한 cell line 및 화물(cargo) 유형으로의 확장, 그리고 생성 모델의 해석 가능성 강화가 필요함

Evaluation

총평: 데이터가 극히 제한된 CPP 설계 문제에서 parameter-efficient soft-prompt tuning과 엄격한 검증 파이프라인을 결합해 cell line-specific 조건부 생성이라는 새로운 문제를 실용적으로 다룬 견실한 연구이나, 실제 실험적 검증이 부재한 점이 임팩트를 다소 제한한다.