PertReasonQA: A Knowledge-Grounded Benchmark and Framework for Cell-State–Conditioned Mechanistic Reasoning of Perturbation Effects

Motivation

• Known: 기존 virtual cell foundation model들은 화학적·유전적 perturbation에 의한 transcriptomic 변화를 예측하는 데 상당한 진전을 이루었으며, PerturbQA와 같은 label-centric 벤치마크로 outcome 예측 성능을 평가해왔다.
• Gap: 그러나 기존 모델들은 established biological pathway를 우회하여 mechanistic reasoning 없이 예측하는 경우가 많고, label 중심 평가로는 모델이 진짜 생물학적 추론을 하는지 아니면 spurious correlation에 의존하는지 구분할 수 없다는 한계가 있다.
• Why: 과학 도메인에서 ML을 신뢰성 있게 활용하려면 distribution shift(새로운 세포, unseen perturbation) 하에서도 정답 예측뿐 아니라 그 근거가 되는 mechanistic reasoning이 타당한지 검증할 수 있어야 하며, 이는 신약 개발과 질병 모델링 등 실제 활용에 직결되는 문제이다.
• Approach: PertReasonQA는 다중 single-cell perturbation 데이터와 knowledge graph를 결합하고, 각 세포의 basal state에 따라 pathway를 동적으로 조건화하여 generic memorization을 방지하는 knowledge-grounded QA 벤치마크이며, 이를 보완하는 reference probe로 PertReasonLM을 제시한다.

Achievement

Figure 1. PERTREASONQA integrates multi-source data (left) featuring diverse chemical and genetic perturbations in ID an

1. PertReasonQA 벤치마크 구축: 10개 세포주에 걸친 화학적·유전적(CRISPRi) perturbation 데이터를 knowledge graph와 결합하여 1.4M outcome-only QA 샘플과 237k reasoning 샘플을 생성했다.
2. Cell-State–Conditioned 경로 추출 기법: KS 통계 기반 세포별 활성 임계값(τlow, τhigh)과 basal expression 조건화된 edge weight를 이용해 Dijkstra 탐색으로 세포 특이적 high-confidence pathway를 추출하고, sign propagation 필터링으로 관측된 발현 방향과 일치하는 reference reasoning path만 남겼다.
3. 다중 OOD 분할 설계: {Chemical, Genetic} × {ID, OOD cells} × {ID, OOD perturbations} 조합의 test split을 구성하여 복잡한 distribution shift 하에서의 모델 강건성을 평가할 수 있게 했다.
4. 시스템적 실패 모드 발견: RAG 기반 baseline 및 범용 LLM(Qwen3 계열 등)이 최종 예측은 맞더라도 결함 있거나 방향이 불일치하는 메커니즘을 생성하는 경향을 실증적으로 드러냈다.
5. PertReasonLM 제시: outcome 예측과 context-specific regulatory reasoning을 정렬시키는 reference LLM을 통해 mechanistic faithfulness가 개선됨을 보였다.

How

Figure 1. PERTREASONQA integrates multi-source data (left) featuring diverse chemical and genetic perturbations in ID an

• 여러 대규모 single-cell perturbation 소스(Srivatsan et al., Szałata et al., Replogle et al., Nadig et al.)를 aggregate하여 pseudobulk 및 basal expression profile을 구성
• Wilcoxon signed-rank test와 Benjamini-Hochberg 보정을 이용해 differential expression label(Up/Down/Unchanged) 산출
• gene network embedding 기반 cluster split으로 pathway leakage를 최소화한 OOD cell/perturbation 분할 생성
• KS 통계 기반 cell-specific activity thresholding으로 basal expression을 low/medium/high로 discretize
• basal expression에 조건화된 edge weight(sigmoid 기반 활성도 페널티)를 사용해 knowledge graph 상에서 Dijkstra 탐색으로 cell-state-conditioned pathway 추출
• INDRA CoGEx로부터 부여된 regulatory sign을 활용해 cumulative sign propagation이 관측 outcome과 일치하는 경로만 필터링(변화 유전자용 Algorithm 1, unchanged 유전자용 Algorithm 2)
• Qwen3-4B를 이용해 검증된 causal path를 자연어 reasoning text로 변환하고, keyword matching 기반 post-generation quality control 적용
• balanced accuracy(3-way outcome classification)와 새로 도입한 Mechanistic Faithfulness 지표로 평가

Originality

• 기존 벤치마크(PerturbQA 등)가 outcome-only label 평가에 그쳤던 것과 달리, cell-state에 동적으로 조건화된 knowledge-grounded reasoning path를 처음으로 결합한 점
• 고정된 embedding lookup이나 static graph에 의존하는 기존 방법(Adduri et al., Roohani et al., Wenkel et al.)과 달리, novel experimental condition을 actionable regulatory state로 번역하는 PertReasonLM 제안
• basal state 기반 edge weight 조건화 및 sign propagation 필터링을 결합한 pathway 추출 알고리즘 설계로 generic memorization을 방지하는 독창적 데이터 구축 파이프라인

Limitation & Further Study

• Reasoning path의 타당성을 자동 필터링(sign propagation, keyword matching)에 의존하므로 실제 생물학적 타당성에 대한 전문가 검증이 제한적일 수 있음
• pseudobulk aggregation 및 knowledge graph(INDRA CoGEx, OmniPath 등) 커버리지에 의존하므로, 알려지지 않은 상호작용이나 knowledge graph의 편향이 reasoning path 품질에 영향을 줄 수 있음
• Qwen3-4B로 생성된 reasoning text의 언어적 자연스러움과 사실 충실도 사이의 trade-off에 대한 추가 검증이 필요
• 향후 연구로 더 다양한 세포 유형과 perturbation modality(예: combinatorial perturbation)로 확장, mechanistic faithfulness metric의 정교화가 요구됨

Evaluation

총평: outcome 예측과 mechanistic reasoning을 명확히 분리해 평가하는 새로운 진단 도구로서 가치가 크며, 특히 cell-state 조건화라는 세밀한 설계가 돋보이지만, 자동화된 필터링 파이프라인의 생물학적 타당성 검증이 보강되면 더욱 신뢰도 높은 벤치마크가 될 것이다.