Preference-based Antibody Expression Ranking: Scaling with Large-scale Weak Supervision

Motivation

• Known: 항체 발현량(expression) 예측은 항체 설계의 핵심 과제이며, 기존 pLM 기반 developability 예측 연구들(ESM-1v, NetSolP, DeepSTABp, RP3Net 등)은 주로 지도학습 방식의 회귀/분류로 접근해왔다. 또한 ProteinDPO, ResiDPO, AbDPO, AlignAb, SimBinder-IF 등 단백질/항체 설계에 DPO와 같은 preference learning을 적용한 선행 연구들이 존재한다.
• Gap: 공개 벤치마크는 수백 개 수준의 서열만 존재하고 길이·수율 분포의 다양성이 부족하며 non-expressible 예시가 결여되어 있어 실제 설계 복잡성을 반영하지 못한다. 동시에 산업 현장에서 대량으로 생성되는 면역화 유래 서열(수백만 개)은 정량적 라벨은 없지만 발현 가능성에 대한 약한 양성 신호를 내포함에도 이를 활용하는 통합 학습 프레임워크가 부재했다.
• Why: 희소 라벨 데이터와 대규모 비라벨 산업 데이터를 하나의 학습 목표로 통합할 수 있다면, 데이터가 극히 제한된 데이터 제약 환경에서도 항체 발현성 최적화를 실용적이고 확장 가능하게 수행할 수 있어 항체 설계 파이프라인의 실질적 병목을 해소할 수 있다.
• Approach: 정량적 발현 수율(Exp-1K)을 상대적 preference 쌍으로 변환하고, 면역화 유래 서열(Camel-4M)의 높은 발현 가능성을 암묵적 preference 신호로 사용하여, 단일 DPO 목적함수로 두 종류의 이질적 지도 신호를 동시에 학습하는 프레임워크를 설계했다.

Achievement

1. 통합 preference 학습 프레임워크: 희소한 정량적 수율 데이터와 대규모 약양성 면역화 데이터를 하나의 DPO 기반 학습 목표로 통합.
2. pLM용 효율적 DPO 적응: union-masked log-likelihood 근사와 IMGT 기반 정렬(ANARCI 사용)을 도입해 가변 길이 서열에서도 효율적인 preference pair 구성과 학습이 가능하도록 함.
3. 경험적 검증: 1254개 라벨 서열(Exp-1K)과 400만 개 비라벨 카멜리드 항체(Camel-4M)로 구성된 내부 데이터셋에서 여러 protein language model backbone에 걸쳐 표준 회귀·분류 baseline 대비 일관된 성능 우위를 입증.
4. 스케일링 분석: 약지도 데이터 양이 증가함에 따라 프레임워크 성능이 지속적으로 향상됨을 보여, 라벨 부족 문제를 완화하는 데 비라벨 산업 데이터를 효과적으로 활용할 수 있음을 입증.

How

• Camel-4M 데이터에 대해 masked language modeling 기반 continual pretraining을 수행하여 pLM을 항체 특이적 표현 공간으로 도메인 정렬(domain-alignment).
• Exp-1K의 정량적 수율 값을 서열 간 상대적 preference로 변환하고, Camel-4M의 고발현 가능성을 암묵적 양성 preference로 활용하여 DPO 목적함수를 구성.
• pLM의 pseudo-log-likelihood 계산 비용 문제를 해결하기 위해 두 서열 간 상이한 위치를 공동 마스킹하고 단일 forward pass로 평가하는 union-masked log-likelihood 근사(g-DPO 기반)를 채택.
• IMGT numbering(ANARCI 소프트웨어 사용)을 통해 항체 서열을 정렬하여, 가변 길이 서열 간 일관된 preference pair 구성을 가능하게 함.
• Exp-1K 데이터셋에서 yield ranking 및 binary expressibility 예측 두 가지 과제로 회귀·분류 baseline과 비교 평가.

Originality

• DPO를 항체 발현 순위화라는 새로운 태스크에 적용하고, 서로 다른 두 종류(정량적 라벨 데이터와 대규모 약양성 데이터)의 이질적 supervision을 단일 preference 학습 objective로 통합한 최초의 시도.
• pLM 특유의 pseudo-log-likelihood 계산 문제를 union-masked log-likelihood 근사와 IMGT 기반 정렬을 결합하여 해결함으로써, 가변 길이 항체 서열에 대한 효율적 DPO 적용을 실현.
• 산업 현장의 면역화 파이프라인에서 부산물로 생성되는 수백만 개의 비라벨 서열을 명시적 라벨 없이 약양성 신호로 재해석하여 활용하는 프레임워킹 관점 제시.

Limitation & Further Study

• Exp-1K와 Camel-4M이 모두 비공개 내부(proprietary) 데이터셋이어서 외부 연구자의 재현 및 검증이 제한적이다.
• 약양성 가정(카멜리드 유래 항체의 90% 이상 발현 가능성)이 특정 종·파이프라인에 국한된 경험적 수치에 기반하고 있어, 다른 종(예: 인간화 항체, 트랜스제닉 마우스 유래)이나 다른 생산 시스템으로의 일반화 가능성이 검증되지 않았다.
• 본문 발췌에서는 실제 정량적 성능 수치(표/그림 상세 결과)가 충분히 제시되지 않아, baseline 대비 개선 폭의 통계적 유의성 및 강건성 평가가 부족해 보인다.
• 후속 연구로 다양한 발현 시스템·항체 포맷(예: IgG, scFv, VHH 외 다른 포맷)에 대한 일반화, 그리고 공개 벤치마크와의 교차 검증이 필요하다.

Evaluation

총평: 희소 라벨 데이터와 대규모 산업 비라벨 데이터를 preference learning으로 통합한다는 아이디어는 항체 설계 실무에 직결되는 실용적이고 참신한 접근이며, pLM에 DPO를 효율적으로 적용하기 위한 기술적 기여도 견고하다. 다만 핵심 데이터셋의 비공개성과 발췌 부분에서 정량적 결과 검증이 제한적이라는 점은 아쉬운 부분이다.