Where Simple Baselines Fail: Mapping the Modeling Frontier of Gene Perturbation Prediction

Motivation

• Known: 기존 연구들은 deep learning 기반 perturbation 예측 모델이 mean-based, additive, linear 등의 simple baseline보다 우수한지에 대해 상반된 결과를 보고해왔으며, 이는 noise, metric 선택, calibration, baseline 강도 등에 따라 달라진다는 것이 알려져 있다.
• Gap: 기존 벤치마크는 aggregate 성능만을 비교하여, 하나의 test split 내에 이미 simple structure로 설명되는 조건(saturated)과 residual signal이 남은 조건(unsaturated)이 혼재되어 있다는 사실을 간과하고 있어, "deep model이 baseline보다 나은가"라는 질문 자체가 under-specified 상태로 남아있다.
• Why: 이 문제를 조건 단위로 세분화하지 않으면 벤치마크 결과가 모델 능력의 실제 차이보다 test set의 saturation 구성에 좌우될 수 있으며, 이는 virtual-cell 모델 개발 방향과 자원 배분(어디에 expressive model이 필요한지)을 잘못 이끌 위험이 있다.
• Approach: control 상태에서 empirical perturbed 상태까지의 dynamic range 중 regime-matched simple baseline이 얼마나 이동시켰는지를 조건별로 측정하는 Baseline Saturation을 정의하고, 이를 9개의 CRISPR perturbation 데이터셋과 5가지 generalization regime, 7가지 calibrated metric에 걸쳐 평가한다.

Achievement

Figure 4. Aggregate performance of the baseline and saturation-aware PRESAGE variants on the jiang24 and replogle22

1. Baseline Saturation 지표 확립: regime-aware 방식으로 baseline-saturated 조건과 unsaturated 조건을 구분하는 진단 도구를 제시하여 simple baseline을 residual headroom 측정 수단으로 전환하였다.
2. 벤치마크 난이도의 구성적 이질성 규명: 동일한 split 내에서도 near-solved 조건과 상당한 residual headroom을 갖는 조건이 공존함을 보여, 벤치마크 난이도가 강하게 compositional함을 입증하였다.
3. Deep model의 residual 학습 및 과적용 행동 분석: deep model이 단순히 baseline과 유사한 구조로 붕괴하지 않고 perturbation-specific residual structure를 학습하지만, 이미 baseline으로 충분히 설명되는 saturated 조건에서는 이를 과도하게 적용하여 성능을 저하시킴을 보였다.
4. Saturation-aware routing 예측기 제안: inference-time 특징으로부터 Baseline Saturation을 추정하고, 이를 이용해 strong baseline과 learned residual modeling(PRESAGE) 사이를 routing함으로써 unseen-perturbation 벤치마크에서 성능을 개선하는 proof-of-concept을 제시하였다.

How

Figure 3. Deep-model capture fraction as a function of empirical baseline headroom across generalization regimes and eva

• 각 held-out 조건에 대해 control 상태에서 empirical(관측) perturbed 상태까지의 dynamic range를 정의하고, regime-matched simple baseline(예: mean-based, additive, linear predictor)이 이 range 중 얼마나 이동시키는지를 fraction으로 계산하여 Baseline Saturation을 산출한다.
• 9개의 single-cell CRISPR perturbation 데이터셋(다양한 generalization regime: unseen perturbation, unseen context, unseen combination 등)에 대해 saturation을 계산하고, 조건들을 saturation 정도에 따라 stratify하여 deep model과 baseline의 상대적 성능을 비교한다.
• deep model(예: PRESAGE 등 attention 기반 모델)의 예측이 baseline 대비 얼마나 추가적인 perturbation-specific signal(residual)을 포착하는지를 "capture fraction"으로 정량화하여, saturation 수준에 따른 모델의 행동 차이를 분석한다.
• inference-time에서 관측 가능한 특징으로부터 saturation을 추정하는 예측기를 학습시키고, 이 추정치를 사용해 saturated 조건에서는 baseline을, unsaturated 조건에서는 deep model(residual) 출력을 선택하는 routing 전략을 구성하여 성능을 평가한다.

Originality

• 기존 연구가 "deep model vs baseline" 논쟁을 aggregate 벤치마크 수준에서 이분법적으로 다룬 것과 달리, condition(perturbation) 단위의 세분화된 진단 지표(Baseline Saturation)를 도입하여 문제를 재구성한 점.
• Simple baseline을 단순한 경쟁자가 아니라 residual headroom을 측정하는 계측 도구(instrument)로 재해석한 관점의 전환.
• Saturation 추정치를 inference-time에 활용해 baseline과 deep model 사이를 동적으로 routing하는 실용적 프레임워크를 제안한 점.

Limitation & Further Study

• Baseline Saturation 계산 시 control-bounded dynamic range 정의와 사용된 simple baseline의 종류(mean, additive, linear)에 결과가 민감할 수 있어, baseline 선택에 따른 saturation 추정의 강건성 검증이 더 필요하다.
• Saturation-aware routing은 proof-of-concept 수준으로 제시되었으며, 더 다양한 deep architecture와 대규모 실제 응용(예: 신약 개발 파이프라인)에서의 검증이 부족하다.
• inference-time saturation 추정기 자체의 정확도와 일반화 성능(특히 완전히 새로운 데이터셋에 대한 transfer)에 대한 심층 분석이 제한적이다.
• 9개 CRISPR 데이터셋에 한정되어 있어, 화학적 perturbation이나 combination perturbation 등 더 넓은 perturbation space에 대한 일반화 여부는 추가 연구가 필요하다.

Evaluation

총평: Deep learning과 simple baseline 간 논쟁을 condition-level 진단으로 재구성한 개념적으로 참신하고 실용적 함의가 큰 연구로, gene perturbation 예측 벤치마크 설계와 모델 평가 방식에 중요한 시사점을 제공한다.