Progressive Multi-Agent Reasoning for Biological Perturbation Prediction

Motivation

• Known: 기존 연구들은 주로 single-cell 실험에서의 유전적 섭동(genetic perturbation)에 대한 유전자 발현 반응 예측 벤치마크(PerturbQA 등)와 방법론을 개발해 왔으며, LLM을 이용한 perturbation biology 추론이 유망함이 보고되어 왔다.
• Gap: 신약 개발에서 핵심적인 bulk-cell 화학적 섭동에 대한 LLM 평가 벤치마크가 전무하며, 고차원적으로 얽힌 섭동 결과 앞에서 LLM이 압도되어 mechanism of action(MoA) 기반의 생물학적 인과 추론을 monolithic하게 수행하기 어렵다는 문제가 존재한다.
• Why: LINCS L1000 데이터베이스는 Perturb-seq보다 훨씬 많은 화합물과 MoA 주석을 포함하고 있어 모델의 mechanistic reasoning을 직접 검증할 수 있으며, bulk 신호는 초기 신약 연구의 조직 수준 측정과 유사해 실질적인 신약 개발 적용 가능성이 크다.
• Approach: LINCS L1000 데이터를 정제하여 화합물-세포주 쌍과 MoA 기반 유전자 조절 방향(up/down) 예측 QA를 구성하고, 동일 섭동에 영향받는 유전자들이 공유하는 인과 구조를 활용해 확신도가 높은 유전자 예측 결과로 어려운 사례를 문맥화하는 multi-agent 프레임워크를 설계했다.

Achievement

Figure 2. Overview of PBIO-AGENT. (a) Difficulty aware data sorting: We order data using a composite score derived from

1. LINCSQA 벤치마크 구축: LINCS L1000 Level 5 데이터에서 품질관리, 2-tier 세포주 선정(임상적 일치, 기전적 일치), consensus signature 구축, MoA 타당성 기반 유전자 선정 과정을 거쳐 193개의 고신뢰 화합물-세포주 쌍과 유전자 단위 QA를 생성했다.
2. 약리학적 민감/비민감 조건에 대한 생물학적 타당성 평가 설계: 동일 화합물이 타깃 경로가 활성인 세포주에서는 예측 일치도가 높고, 비활성/우회 경로를 가진 세포주에서는 낮아야 한다는 기준으로 모델의 기전 이해 여부를 직접 검증할 수 있는 평가 체계를 마련했다.
3. PBIO-AGENT 프레임워크 제안: 난이도 인지 태스크 정렬, 생물학적 지식 그래프로 강화된 전문화된 agent들, synthesis agent, 논리적 일관성을 검증하는 judge agent를 결합해 훈련 없이도 LINCSQA 및 PerturbQA에서 기존 baseline 대비 우수한 성능을 달성했다.

How

Figure 2. Overview of PBIO-AGENT. (a) Difficulty aware data sorting: We order data using a composite score derived from

• LINCS 2020 level 5 데이터에서 compoundinfo_beta.txt, siginfo_beta.txt, compound_signatures.h5를 이용해 trt_cp, is_hiq, qc_pass 조건과 MoA 주석 여부로 필터링하여 2,559개 화합물 신호를 확보
• Gemini 2.0 Flash를 이용한 2-tier 세포주 선정(Tier 1: 임상 적응증 일치, Tier 2: 기전적 관련성)과 2차 LLM 검증을 거쳐 193개 고신뢰 화합물-세포주 쌍 도출
• 조건별 replicate 가중 consensus z-score(z_g) 산출 및 방향 일관성(≥0.7) 기준 적용으로 강건한 유전자 신호 추출
• z-score 크기 및 MoA 타당성 기반으로 유전자를 랭킹·필터링해 화합물당 5~10개 상향/하향 조절 유전자를 선정, gene-level 이진 QA(10~20개/쌍) 생성
• PBIO-AGENT는 난이도 인지 데이터 정렬(difficulty-aware sorting)로 쉬운 태스크부터 처리하여 확신도 높은 예측을 확보한 뒤, 이를 문맥으로 활용해 어려운 태스크를 반복적으로 정제(iterative knowledge refinement)하며, Perfetto et al., Huttlin et al., STRING, Reactome 등 다양한 생물학적 지식 그래프/DB를 활용하는 전문화된 agent, synthesis agent, judge agent로 구성
• 선택적으로 graph attention network나 random forest 같은 사전학습된 신경망을 도구로 통합하여 앙상블 예측 가능

Originality

• Bulk-cell 화학적 섭동에 대한 LLM 평가라는 미개척 영역을 다루는 최초의 벤치마크(LINCSQA)를 제시
• MoA 기반 약리학적 민감/비민감 조건을 대조하여 모델의 실제 기전 이해도를 검증하는 평가 설계가 독창적
• 동일 섭동에 영향받는 유전자 간 공유 인과 구조를 활용해 쉬운 예측으로 어려운 예측을 문맥화하는 난이도 인지 progressive reasoning 아이디어를 multi-agent 프레임워크에 도입
• 훈련 없이(training-free) 다양한 생물학적 지식 그래프와 선택적 신경망 도구를 결합한 앙상블적 agent 구조를 설계

Limitation & Further Study

• 발췌된 본문만으로는 PBIO-AGENT의 세부 agent 간 상호작용, judge agent의 구체적 판단 기준, iterative refinement의 종료 조건 등이 충분히 설명되지 않아 재현성 검증이 어려움
• 193개 화합물-세포주 쌍이라는 비교적 작은 규모의 벤치마크가 다양한 화합물·세포주 조합의 일반화 가능성을 얼마나 대표하는지 추가 검증이 필요
• 세포주 선정 과정에서 LLM(Gemini 2.0 Flash)에 크게 의존하고 있어, 해당 LLM의 편향이나 오류가 벤치마크 품질에 영향을 줄 수 있음
• 후속 연구로 다른 종류의 섭동(예: 병용 처리, 시간 경과에 따른 반응)이나 더 다양한 조직·세포주로의 확장, 그리고 agent 간 통신 비용 및 추론 시간에 대한 정량적 분석이 필요해 보임

Evaluation

총평: 신약 개발의 핵심인 bulk-cell 화학적 섭동에 대한 LLM 추론 능력을 최초로 체계적으로 평가하는 벤치마크와, 생물학적 인과 구조를 활용한 실용적인 training-free multi-agent 프레임워크를 제시한 의미 있는 워크숍 논문이나, 본문 발췌만으로는 방법론의 세부 구현과 실험적 엄밀성에 대한 완전한 판단이 제한적이다.