(Be Cautious!) Bio-Foundation Models Are Not Yet Robust to Biologically Plausible Perturbations and ML Transformations

Motivation

• Known: Bio-FMs(예: AlphaFold, ESM, GearNet, SaProt 등)는 단백질 구조 예측, 설계, 기능 예측 등 다양한 biomedical task에서 강력한 성능을 보여왔으며, LLM이나 vision foundation model의 adversarial robustness 및 안전성 문제는 이미 상당히 연구되어 왔다.
• Gap: 그러나 Bio-FMs가 실험적 노이즈, PDB curation artifact, 전처리·토큰화·임베딩 선택 등 현실에서 불가피하게 발생하는 사소하지만 실재하는(small-but-real) 섭동에 대해 얼마나 견고한지는 거의 탐구되지 않았으며, 기존 연구(Akdel et al., 2022; Jha et al., 2021)는 단백질 folding 등 특정 task에 국한되어 섭동 원인을 체계적으로 분류하거나 구체적 실패 양상 및 배포 위험과 연결하지 못했다.
• Why: Bio-FMs는 신약 개발, 백신 설계, 치료제 개발 등 고위험(high-stakes) 실제 응용에 사용되므로, 사소한 데이터 큐레이션 이슈나 흔한 ML 처리 방식만으로도 모델 신뢰성이 무너질 수 있다면 이는 심각한 배포 위험으로 직결되며, 이를 규명하는 것은 안전하고 신뢰할 수 있는 실사용을 위해 필수적이다.
• Approach: 이 논문은 biologically plausible perturbations(실험적 손상 및 curation artifact를 모사)와 ML-induced transformations(전처리, 증강, 임베딩 선택을 모사)라는 두 축으로 구성된 taxonomy를 제안하고, 이를 기반으로 다양한 perturbation suite를 설계하여 여러 Bio-FM의 견고성을 체계적으로 진단한다.

Achievement

Figure 4. The performance and similarity heatmap over various

1. 최초의 체계적 Bio-FM 견고성 연구: biological과 ML 관점을 통합한 taxonomy를 제시하고 이를 기반으로 한 대규모(2,128 실험, 11개 Bio-FM, 7개 데이터셋) 벤치마크를 수행함.
2. 11종의 perturbation 설계: PDB curation에서 흔히 발생하는 11가지 biologically plausible corruption(예: local deletion, disulfide break, side-chain drop, cis-Pro peptide bond error 등)과 ML transformation(graph construction, tokenization, embedding 선택 등)을 정의함.
3. 미세 섭동의 치명적 영향 발견: 현재 측정 도구로는 감지하기 어려운 미세한 생물학적 섭동이 Bio-FM 출력에서 심각한 불일치와 치명적 실패를 유발할 수 있음을 실증함.
4. Cryo-EM 모델의 예외적 견고성 발견: CryoDRGN과 같은 cryo-EM reconstruction 모델은 worst-case 섭동 하에서도 놀라울 정도의 견고성을 유지함을 발견함.

How

Figure 2. The biologically plausible data perturbation and ML transformations pipeline. The biologically plausible data

• Biologically plausible perturbations: 단백질 구조의 원자 좌표 및 annotation 수준에서 발생하는 geometric/coordinate-level perturbation(예: local deletion, disulfide break, side-chain drop, cis-Pro peptide bond error)과 format-level perturbation을 PDB curation 관련 문헌 및 도메인 전문성에 기반해 curation함.
• Cryo-EM 이미지에 대해서는 noise, slice, radius perturbation 등 실험적 artifact를 모사하는 섭동을 설계함.
• ML transformations: protein graph construction(KNN perturbation, max neighbor perturbation), tokenization, embedding choice 등 내부 데이터·표현 연산이 모델 안정성에 미치는 영향을 체계적으로 조사함.
• 11개의 state-of-the-art Bio-FM(AlphaFold 계열, ESM 계열, GearNet, ProNet, SaProt, ProSST, CryoDRGN 등)을 protein design, classification, function prediction, structure reconstruction 등 4개 범주의 downstream task와 7개 데이터셋에 걸쳐 평가함.

Originality

• 기존 adversarial robustness 연구(합성된 적대적 섭동 중심)와 달리, 실제 실험 및 curation 과정에서 자연적으로 발생하는 small-but-real 섭동에 초점을 맞춘 점이 독창적임.
• biological perturbation과 ML transformation을 orthogonal한 두 축으로 분리하여 taxonomy화한 프레이밍은 기존의 task-specific 연구(Akdel et al., 2022; Jha et al., 2021)와 차별화됨.
• 단일 task가 아닌 sequence, structure, image 등 다중 모달리티와 다수의 Bio-FM 아키텍처를 아우르는 대규모 벤치마크를 구축한 점.

Limitation & Further Study

• 발췌된 내용상 perturbation의 심각도(severity)와 실제 배포 위험 간의 정량적 연결(예: 임상적으로 의미 있는 오류 임계값)이 충분히 구체화되었는지 불분명함.
• 단백질 중심(protein-based) 모달리티에 집중되어 있어, single-cell RNA, 소분자, 유전체 등 다른 생물학적 모달리티의 Bio-FM에 대한 일반화 가능성은 추가 검증이 필요함.
• CryoDRGN이 견고한 이유에 대한 기전적(mechanistic) 설명이 충분히 제시되지 않았다면, 후속 연구에서 이 견고성의 원인을 규명하고 이를 다른 Bio-FM 설계에 적용하는 방향이 유의미할 것임.
• 섭동에 대한 방어(defense) 또는 robust training 방법론은 다루지 않아, 향후 진단을 넘어 개선 방안 연구가 필요함.

Evaluation

총평: Bio-FM의 실사용 신뢰성에 대한 중요한 공백을 최초로 체계적으로 조명한 의미 있는 연구로, taxonomy와 대규모 벤치마크를 통해 향후 견고성 개선 연구의 토대를 마련했다는 점에서 가치가 크다.