Needles in the Haystack: Addressing Signal Dilution Improves scRNA-seq Perturbation Response Modeling and Evaluation

Motivation

• Known: 최근 벤치마크들에서 perturbation response 모델들이 단순 linear model이나 심지어 훈련되지 않은 mean baseline(모든 perturbed 세포의 평균 발현 프로파일 예측)에게 MSE, MAE, Pearson(Δ) 등 표준 지표 상에서 패배하는 현상이 반복적으로 보고되어 왔다.
• Gap: 기존 연구는 control-cell bias가 Pearson(Δ) 점수를 인위적으로 부풀릴 수 있음을 밝혔으나, MSE/MAE 등 오차 기반 지표에서 mean baseline이 경쟁력을 갖게 되는 원인과 이에 기여하는 데이터셋·지표 속성은 충분히 규명되지 않았다.
• Why: perturbation response 모델의 신뢰할 수 있는 평가는 in silico 스크리닝을 통한 치료제 발굴 가속화라는 목표 달성에 필수적이며, 잘못된 지표로 인해 실제로 유의미한 모델과 무의미한 mean 예측을 구분하지 못하면 필드 전체의 발전이 왜곡될 위험이 있다.
• Approach: 대규모 in silico 시뮬레이션과 두 개의 실제 perturbation 데이터셋(Norman19, Replogle22) 분석을 통해 mean baseline의 우수한 성능이 perturbation 효과가 소수 유전자에 집중되는 signal dilution 때문에 발생하는 metric artifact임을 규명하고, DEG-aware 가중 지표와 명시적 negative/positive baseline을 제안한다.

Achievement

Figure 3. Weighted MSE is sensitive to differences in niche per-

1. Signal dilution 규명: 대규모 파라미터 스윕 시뮬레이션을 통해 perturbation 효과가 소수 유전자에만 국한될 때(signal dilution) unweighted 지표들이 mean baseline을 체계적으로 과대평가함을 규명했다.
2. DEG-aware 지표 제안: differentially expressed gene 정보를 가중치로 활용하는 weighted mean-squared error(WMSE)와 weighted delta R2(R2_w(Δ))를 도입해 niche하고 perturbation-specific한 신호에 민감하게 반응하도록 했다.
3. Baseline 프레임워크 구축: technical duplicate를 positive control로, mean baseline을 negative control로 명시적으로 설정하여 지표를 보정하는 체계를 제시, 이 프레임워크 하에서 mean baseline은 null 성능으로 떨어지고 실제 정보성 있는 예측기는 올바르게 보상받음을 보였다.
4. 학습 목적함수로의 확장: WMSE를 훈련 손실로 사용함으로써 여러 모델 아키텍처에서 mode collapse를 감소시키고 예측 성능을 향상시킴을 실증했다.

How

Figure 2. (A) Schematic of the simulation sweep in which the average number of perturbed genes increases with the pertur

• 음이항분포(negative binomial) 기반의 raw count 시뮬레이터를 구축하여 유전자 수(g), control 세포 수(n0), perturbation당 세포 수(np), perturbation 수(k), control의 systemic bias(β), perturbation 확률(δ), 승법 효과 강도(ϵ), library size scaling(µl) 등 파라미터를 정의(수식 1-5)
• 이 파라미터들을 광범위하게 스윕하며 mean baseline의 성능에 영향을 주는 요인을 규명(Fig 1a, Fig 2a)
• Norman19, Replogle22 두 실제 Perturb-seq 데이터셋에 동일한 파라미터 공간을 매핑하여 시뮬레이션 결과를 검증(Table 1)
• DEG score를 가중치로 사용하는 WMSE, R2_w(Δ) 지표를 정의하고, 이를 mean baseline과 technical duplicate baseline에 적용해 지표의 민감도를 비교(Fig 3)
• WMSE를 학습 손실 함수로 대체 적용하여 여러 모델 아키텍처(예: autoencoder 기반, GEARS 등)에서 mode collapse 감소 및 성능 향상 여부를 평가(Fig 4)

Originality

• 기존 연구들이 mean baseline의 우수성을 개별 사례로 보고하는 데 그친 반면, 본 연구는 대규모 in silico 시뮬레이션을 통해 이 현상의 근본 원인을 signal dilution이라는 통일된 메커니즘으로 체계적으로 규명함
• DEG-aware 가중 지표(WMSE, R2_w(Δ))와 technical duplicate를 이용한 positive baseline 제안은 평가 프레임워크 자체의 구조적 결함을 교정하는 독창적 접근
• 평가 지표 개선에 그치지 않고 이를 학습 손실로 직접 전환하여 모델 성능 개선까지 연결한 점이 실용적 독창성을 더함

Limitation & Further Study

• 시뮬레이션은 negative binomial 기반의 단순화된 생성 모델에 의존하므로 실제 생물학적 복잡성(유전자 간 상호작용, 세포 이질성 등)을 완전히 반영하지 못할 가능성이 있음
• 실제 데이터 검증이 두 개(Norman19, Replogle22)에 국한되어 있어 다양한 perturbation 유형(CRISPRi/CRISPRa 등)이나 조직별 일반화 가능성에 대한 추가 검증이 필요함
• DEG score 산정 방식 자체의 임계값 설정이나 통계적 유의성 기준에 따라 WMSE 결과가 민감하게 달라질 수 있어 이에 대한 강건성 분석이 추가로 요구됨
• 후속 연구로 다양한 foundation model(scGPT, STATE 등)에 대한 WMSE 학습 효과의 광범위한 벤치마킹이 필요

Evaluation

총평: perturbation response 모델링 분야에서 오랫동안 지적되어온 mean baseline 이상 현상의 근본 원인을 체계적으로 규명하고 실용적인 해결책(지표·baseline·손실함수)까지 제시한 견고하고 시의적절한 연구이다.