The Few-Shot Unreliability of Molecular Foundation Models: A Geometric Diagnosis and Partial Remedy

Motivation

• Known: MFM은 수백만 개의 unlabeled 분자로 사전학습되어 새로운 endpoint에 최소한의 supervision만으로 전이 가능한 풍부한 표현을 생성한다고 널리 가정되어 왔으며, label scarcity 문제 해결책으로 제안되어 왔다. 기존 벤치마크(MoleculeNet, TDC)는 주로 수백~수천 개의 labeled 분자를 가진 상대적으로 큰 training set에서 성능을 평가해왔다.
• Gap: MFM이 실제로 few-shot 환경(N=10~100 수준)에서 classical representation(Morgan fingerprint, RDKit descriptor) 대비 우위를 갖는지에 대한 체계적 검증이 부족했고, 특히 label scarcity가 가장 심각한 저데이터 영역에서의 신뢰성이 검증되지 않은 채 MFM이 해결책으로 홍보되어 왔다.
• Why: 신약 개발 초기 단계의 ADMET 예측은 실제로 endpoint당 수십 개의 labeled 데이터만 존재하는 극단적 label scarcity 상황이 일반적이므로, MFM이 이 영역에서 실제로 신뢰할 만한지 여부는 MFM의 실용적 가치와 향후 연구 방향을 결정짓는 중요한 질문이다.
• Approach: Uni-Mol, MolFormer, ChemBERTa의 frozen embedding과 Morgan fingerprint, RDKit descriptor를 동일한 random forest 회귀 head로 비교하고, PLS projection을 embedding에 적용하여 ADMET 관련 방향이 embedding 공간 내에 존재하는지 여부를 진단하는 방식으로 접근한다.

Achievement

Figure 1. MAE ratio relative to the Morgan FP regressor across training sizes (lower is better; 1.0 = parity with baseli

1. MFM의 일관된 열세 확인: 세 MFM 모두 N=10에서 N=1000까지 모든 training size에서 Morgan FP 대비 MAE ratio가 1.0을 초과하며, N=10에서 17-18%, N=1000에서 25-31%로 격차가 오히려 커지는 것을 발견했다.
2. Endpoint-agnostic한 열등성 검증: rank 기반 분석(Figure 2)을 통해 이 열등성이 특정 endpoint에 국한되지 않고 아홉 개 endpoint 전반에서 일관되게 나타남을 확인했다.
3. PLS를 통한 기하학적 진단: PLS projection(k=10)이 N=10에서 MolFormer 등의 성능 격차 대부분을 회복시켜, embedding 내에 ADMET 관련 정보가 존재하지만 소수 샘플만으로는 회귀모델이 발견할 수 없는 방향에 숨겨져 있음을 보였다.
4. 근본적 한계 확인: PLS 적용 후에도 N≥100이 되기 전까지는 어떤 표현도 naive train-mean predictor 대비 R² 우위를 보이지 못함을 확인하여, foundation model이 가장 필요한 저데이터 영역에서 실질적으로 신뢰할 수 없음을 정량적으로 입증했다.

How

Figure 3. (a) Mean R2 scores across all datasets at various training set size. (b) At N = 10, no representation clearly

• OpenADMET 벤치마크의 아홉 개 회귀 endpoint에서 Morgan fingerprint, RDKit physicochemical descriptor, Uni-Mol, MolFormer, ChemBERTa의 다섯 가지 representation을 비교
• 모든 representation에 동일한 random forest(RF) regressor head를 사용하여 representation 자체의 차이만을 측정(MFM은 frozen feature encoder로만 사용)
• training size N을 {10, 20, 30, 40, 50, 100, 200, 300, 400, 1000}으로 변화시키며 20회 random seed에 걸쳐 Morgan FP 대비 MAE ratio를 측정
• PLS를 classical QSAR와 달리 회귀모델과 분리하여, PLS로 투영된 latent score matrix T=XW를 별도의 비선형 RF 예측기에 입력함으로써 PLS를 진단 도구 겸 성능 개선 기법으로 활용
• naive train-mean predictor를 기준선으로 하여 R² score 비교를 통해 극단적 label scarcity 영역에서의 실질적 예측 신뢰성을 평가

Originality

• PLS를 단순 차원축소 회귀기법이 아니라, MFM embedding의 실패 원인이 정보 부재(informational)인지 기하학적 정렬 불량(geometric misalignment)인지 구분하는 진단 도구로 재해석하여 사용한 점이 독창적이다
• 기존 벤치마크가 간과해온 few-shot(N=10~100) 영역에 초점을 맞춰 MFM의 실용적 전제(label scarcity 해결)를 정면으로 검증한 실증 연구 설계가 신선하다
• classical QSAR의 PLS 회귀 방식(선형 예측)과 달리 projection과 regression을 분리하여 비선형 예측기와 결합하는 방식을 제안한 점

Limitation & Further Study

• 세 가지 MFM(Uni-Mol, MolFormer, ChemBERTa)과 RF 회귀 head, 9개 OpenADMET endpoint로 실험 범위가 제한적이어서, 더 다양한 최신 MFM이나 fine-tuning 기반 방법으로 일반화되는지는 불확실하다
• PLS도 N≥100 이전에는 근본적 한계를 해결하지 못한다고 저자들 스스로 인정하고 있어, 실질적인 "해결책"이라기보다는 문제의 정도를 완화하는 수준에 그친다
• frozen embedding만을 다루었기 때문에 fine-tuning된 MFM이나 few-shot meta-learning 기법과의 비교가 없어 MFM 활용의 다른 패러다임에 대한 시사점은 제한적이다
• 향후 연구로 downstream task와 처음부터 정렬된 pretraining 목표를 설계하는 방향이 필요하다고 저자들이 제안하나 구체적 방법론은 제시되지 않았다

Evaluation

총평: MFM이 few-shot 분자 property prediction에 만능 해결책이라는 통념에 실증적 반증을 제시하고 PLS를 통한 진단적 통찰을 더한 견고하고 시의적절한 연구이나, 제안된 해결책이 부분적이라는 한계 역시 스스로 명확히 인정하고 있다.