LLM-guided acquisition for pathway-specific Perturb-seq design under experimental budgets

Motivation

• Known: Perturb-seq과 같은 단일세포 CRISPR screening은 유전자 기능 발견의 핵심 도구이며, 실험 예산이 제한적이므로 acquisition 전략(uncertainty 기반, kernel-prior 기반 등)이 sample efficiency에 중요하다는 것이 알려져 있다. 최근에는 LLM-derived gene embedding이 perturbation-response 예측 모델(GEARS, LLMPert, scLAMBDA 등)의 일반화 성능을 높이는 데 사용되고 있다.
• Gap: 기존 uncertainty 기반 및 prior 기반 acquisition rule들이 고정된 embedding 기반 predictor 하에서 random selection보다 신뢰성 있게 우수한 성능을 내지 못하는 경우가 많으며, LLM을 이용한 pathway-conditioned하고 해석 가능한 acquisition 전략은 충분히 탐구되지 않았다.
• Why: 실험 예산이 극도로 제한된 lab-in-the-loop Perturb-seq 설계에서, 단순히 성능을 최적화하는 것뿐 아니라 생물학자가 해석·검토·개입할 수 있는 rationale을 제공하는 acquisition 전략이 필요하기 때문에, LLM을 활용한 설명 가능한 실험 설계 방법론은 실용적·과학적으로 중요하다.
• Approach: Ensemble epistemic uncertainty로 후보 perturbation을 shortlist한 뒤, reasoning LLM이 pathway context, gene annotation, functional diversity 기준으로 재순위화하며 각 선택에 대한 concise rationale을 기록하는 2단계 pathway-conditioned acquisition 전략을 제안한다.

Achievement

Figure 2. Pathway-specific MSE learning curves comparing LLM-guided acquisition to baselines. Top row: K562. Bottom row:

1. 표준 acquisition rule의 신뢰성 문제 규명: 고정된 embedding 기반 predictor 하에서 uncertainty 기반 및 kernel-prior 기반 acquisition이 random selection보다 자주 열세임을 보였다.
2. 2단계 LLM-guided acquisition 전략 제안: ensemble epistemic uncertainty shortlist와 LLM 재순위화(pathway context, gene function, diversity)를 결합하고 검사 가능한 rationale을 생성하는 방법을 제시했다.
3. 경쟁력 있는 성능과 pathway/cell-line 의존성 확인: K562의 5개 Hallmark pathway와 RPE1 cell line에서 LLM-guided acquisition이 random 및 prior-aware(ITERPERT) 베이스라인과 경쟁력 있으며, 이득이 pathway와 cell line에 따라 상이함을 보였다.
4. Ablation 및 blinded LLM-as-judge 평가: uncertainty shortlist와 biological annotation이 load-bearing하지만 균일하게 유익하지 않음을 밝혔고, 다중 judge 평가를 통해 LLM-guided selection이 random 및 BALD보다 생물학적으로 일관됨을 확인했다.

How

Figure 3. LLM-as-judge prompt template. The system message is fixed; the user message is instantiated per (dataset, path

• LLMPERT를 고정 perturbation-response predictor로 사용: gene function text embedding(GenePT 방식)과 ProtT5 protein sequence embedding을 결합한 frozen embedding으로 mean expression shift를 예측
• 매 acquisition round마다 deep ensemble(M개의 독립적으로 훈련된 fθm)을 구성해 perturbation별 epistemic uncertainty를 추정, 이를 기준으로 후보를 shortlist
• shortlist된 후보를 reasoning LLM에 전달하여 pathway context, candidate annotation(gene function 등), functional diversity criteria로 재순위화하고 배치 St를 선택하며 각 선택에 대한 rationale을 기록
• Replogle et al. (2022) Perturb-seq 공개 데이터셋의 K562, RPE1 cell line에서 Hallmark pathway 단위로 학습 곡선(learning curve, MSE)을 측정하여 random, BALD, ITERPERT 등과 비교
• Ablation을 통해 uncertainty shortlist 유무, biological annotation 제공 여부(stripped prompt 포함)의 영향을 분석
• 3개의 독립적 LLM을 judge로 사용한 blinded LLM-as-judge 평가로 선택된 gene set의 생물학적 일관성(coherence)을 정성 평가

Originality

• Perturb-seq acquisition 문제에 uncertainty 기반 shortlisting과 LLM 기반 pathway-conditioned 재순위화를 결합한 2단계 전략을 제안한 점이 새롭다.
• 기존 연구들이 LLM을 perturbation-response 예측의 prior/embedding으로 사용한 것과 달리, 이 논문은 LLM을 acquisition(실험 설계) 단계 자체에 직접 통합하여 rationale을 생성하는 해석 가능한 접근을 취한다.
• 표준 uncertainty/prior 기반 acquisition rule이 random보다 못한 경우가 많다는 것을 실증적으로 재확인하고, 이를 동기로 삼아 LLM 기반 재순위화의 필요성을 제시한 점이 실용적 통찰을 제공한다.
• Blinded multi-judge LLM 평가를 통해 acquisition 결과의 생물학적 coherence를 정량화하려는 시도가 독창적이다.

Limitation & Further Study

• K562와 RPE1 두 cell line, 5개 Hallmark pathway에 국한된 실험으로 일반화 가능성이 제한적이며, RPE1에서는 성능이 mixed하여 방법의 견고성이 불충분함을 저자들도 인정한다.
• Biological annotation이 균일하게 유익하지 않고 stripped prompt가 더 나은 경우가 있어, 어떤 annotation이 언제 유용한지에 대한 체계적 이해가 부족하다.
• LLM-as-judge 평가가 blinded이지만 결국 LLM 기반 평가이므로 실제 wet-lab expert 검증이 부재하며, 저자들도 retrieval-augmented context와 expert validation을 향후 과제로 명시한다.
• 고정된 single predictor(LLMPERT)에만 기반한 실험이라 다른 perturbation-response 모델로의 일반화는 검증되지 않았다.

Evaluation

총평: 실험 예산이 제한된 Perturb-seq 설계에 LLM 기반 pathway-conditioned acquisition을 접목한 시도는 흥미롭고 해석 가능성 측면에서 가치가 있으나, 개선 폭이 제한적이고 pathway/cell-line에 따라 일관되지 않은 결과를 보여 아직 초기 단계의 workshop-level 연구로 평가된다.