Is PEFT Enough for Cell Segmentation? An Empirical No-Go Result on Frozen Foundation Models

Motivation

Known: SAM 기반 범용 foundation model과 이를 세포 도메인에 특화시킨 CellSAM, Cellpose-SAM 같은 cell-domain foundation model들이 강력한 off-the-shelf 성능을 보이며, 새로운 현미경 세팅에 적용할 때는 PEFT(adapter, LoRA 등)가 full fine-tuning 대비 계산 효율적이고 과적합에 강한 대안으로 널리 사용되고 있다.
Gap: 기존 연구들은 PEFT가 세포 인스턴스 분할, 특히 밀집 영역에서의 merged/missed cell 문제를 얼마나 해결할 수 있는지를 체계적·통제된 조건에서 검증하지 않았으며, 성능 정체가 adapter capacity 부족 때문인지 모델 표현력 자체의 한계 때문인지도 규명되지 않았다.
Why: 세포 현미경 downstream 분석은 평균 segmentation 점수가 아니라 개별 cell instance 단위의 정확한 분리가 필수적이므로, PEFT의 실제 한계를 파악하는 것은 실무적 어댑테이션 전략 선택과 향후 cell foundation model 설계 방향에 중요한 함의를 가진다.
Approach: Cellpose-SAM을 base model로 고정하고 LIVECell 데이터셋에서 backbone adapter, decoder-side LoRA/partial unfreezing, reweighting loss, cell-separation loss, full fine-tuning을 동일한 프로토콜과 평가 파이프라인 하에 체계적으로 비교하는 통제된 case study를 수행했다.

Achievement

체계적 벤치마크: 4개 adaptation 축(backbone adapter, decoder-side 적응, reweighting loss, cell-separation loss)과 full fine-tuning을 단일 프로토콜 하에서 직접 비교하는 최초의 통제된 실험을 제시했다.
성능 정체(ceiling) 발견: Base Cellpose-SAM(AP_COCO=0.5447) 대비 모든 방법이 AP_COCO≈0.558–0.562의 좁은 대역에 머물렀으며, full fine-tuning조차 0.5627에 그쳐 이 한계를 벗어나지 못함을 보였다.
최선의 설정 규명: cell-separation loss 계열의 flow repulsion loss(BN-r2+LoRA(out)+rep)가 AP_COCO=0.5620, AP@0.9=0.1516으로 가장 우수했으나 여전히 밀집 영역에서 missed/merged cell이 잔존함을 확인했다.
원인 규명 시사: 성능 정체가 단순히 trainable parameter 수나 PEFT capacity 부족으로 설명되지 않음을 보여, 기존 cell-domain foundation model 자체의 representational limitation을 시사했다.

How

Base model로 공식 pretrained Cellpose-SAM을 사용하고, 모든 실험을 동일한 LIVECell split과 평가 파이프라인(APCOCO 주요 지표)에서 수행
Backbone-side adapter: Bottleneck adapter(용량別 r1~r4), Med-SA-style adapter, ViT-Adapter-style spatial prior 모듈을 비교하여 capacity·placement·architecture 영향 분석
Decoder-side adaptation: neck/output head에 LoRA 적용 및 partial unfreezing을 통해 추가 자유도의 효과 검증
Reweighting loss: probability 예측에 Tversky loss, flow 예측에 boundary-band 및 inter-cell boundary flow MSE, weak augmentation 기반 consistency loss 적용
Cell-separation loss: flow repulsion loss(경계 픽셀 쌍의 flow 벡터가 반대 방향을 가리키도록 강제)와 dynamics separation loss(centroid basin 분리 유도)를 도입
추가로 full fine-tuning을 단일 RTX 4090 GPU에서 수행하여 adapter capacity 한계 여부를 검증

같이 보면 좋은 논문

MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation

기반 연구SPECTER2 유사도 0.91로 Multimodal Biomedical Data Fusion와 LLM Benchmarking and Agent Evaluation가 맞닿아, 'MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Deepseek-v3 technical report

기반 연구SPECTER2 유사도 0.91 기준으로 'Is PEFT Enough for Cell Segmentation? An Empirical No-Go Result on Frozen Foundation Models'의 AI4S 방법론을 'Deepseek-v3 technical report'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.

State-Free Inference of State-Space Models: The Transfer Function Approach

기반 연구SPECTER2 유사도 0.91 기준으로 'Is PEFT Enough for Cell Segmentation? An Empirical No-Go Result on Frozen Foundation Models'의 AI4S 방법론을 'State-Free Inference of State-Space Models: The Transfer Function Approach'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.

Persistent Homology for Distribution Drift Detection in LLM Embedding Streams

기반 연구drift 탐지 프레임워크를 다른 시나리오로 확장한 연구

Few-Step Cofolding with All-Atom Flow Maps

기반 연구protein-ligand 구조 생성 모델을 확장하여 inference 속도를 개선하는 연구이다.

반론/비판PEFT의 실효성에 대한 부정적 결과를 다룬다는 점에서 상반된 관점을 제시함

LDARNet: DNA Adaptive Representation Network with Learnable Tokenization for Genomic Modeling

기반 연구PEFT의 기본 방법론(LoRA, adapter 등)을 제공하는 기초 연구

CLM-X: A multimodal single-cell foundation model with flexible multi-way Transformer for unified scRNA-seq and scATAC-seq analysis

기반 연구SPECTER2 유사도 0.92로 Multimodal Biomedical Data Fusion와 AI-Driven Drug and Materials Discovery가 맞닿아, 'CLM-X: A multimodal single-cell foundation model with flexible multi-way Transformer for unified scRNA-seq and scATAC-seq analysis'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Towards building a World Model to simulate perturbation responses in cellular biology

기반 연구SPECTER2 유사도 0.92로 Multimodal Biomedical Data Fusion와 AI-Driven Drug and Materials Discovery가 맞닿아, 'Towards building a World Model to simulate perturbation responses in cellular biology'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

scDataset: Scalable Data Loading for Deep Learning on Large-Scale Single-Cell Omics

다른 접근단일세포 오믹스 데이터의 대규모 처리를 위한 유사한 데이터 로딩/샘플링 접근법을 다룸

Token-Only Adaptation of Frozen Self-Supervised Vision Foundation Models for Cross-Species Animal Pose: A Pareto-Frontier Characterization Across Eight Held-Out Mammal Species

다른 접근최소 파라미터 조정을 통한 backbone frozen 상태에서의 태스크 특화 적응 접근이 공통됨

Token-Wise Residual Latent Adapters: Steering Seq2Seq Models for Protein Fitness Extrapolation

다른 접근동일한 fine-tuning 문제를 다른 접근으로 해결하려는 연구

Where Simple Baselines Fail: Mapping the Modeling Frontier of Gene Perturbation Prediction

다른 접근PEFT 기법을 다른 도메인에 적용해 효율성을 비교하는 유사 연구

Ares: Loss-Free Mixture-of-Experts Routing for Bidirectional Protein Encoders

다른 접근세포 분할을 위한 PEFT 기법 평가라는 동일한 문제를 다룸

LabProc and Tacit: Quantifying the Visual-Textual Prior Gap in Autonomous Laboratory Perception

다른 접근VLM의 시각적 상태 인식 한계를 다른 벤치마크로 검증한다.