ELISA: An Interpretable Hybrid Generative AI Agent for Expression-Grounded Discovery in Single-Cell Genomics

Motivation

• Known: 기존 agentic AI 시스템(AI Co-Scientist, Biomni, GeneAgent, Virtual Lab, CellAgent, BRAD 등)은 텍스트와 구조화된 데이터베이스 위에서 추론하지만 고차원 transcriptomic 표현에 직접 접근하지 못하며, scGPT 같은 single-cell foundation model은 풍부한 세포 표현을 학습하지만 natural language 인터페이스와 정렬되어 있지 않다. CellWhisperer는 transcriptome과 텍스트 주석의 joint embedding으로 chat 기반 질의를 일부 지원하지만 pathway scoring, interaction prediction, condition-aware comparison 같은 내장 분석 모듈이 없다.
• Gap: agentic reasoning 시스템과 expression foundation model 사이에 근본적인 단절이 존재하여, expression-derived embedding과 semantic language representation을 하나의 interactive 프레임워크로 통합하여 single-cell discovery를 지원하는 시스템이 부재하다.
• Why: scRNA-seq 데이터로부터 mechanistic biological hypothesis를 도출하는 과정은 labor-intensive하고 확장이 어려운 병목이며, 이를 해소하면 transcriptomic data exploration과 실제 생물학적 발견 사이의 간극을 좁혀 AI 보조 과학적 발견을 가속화할 수 있다.
• Approach: ELISA는 scGPT cluster embedding과 BioBERT 기반 semantic embedding을 hybrid routing 메커니즘으로 결합하고, query classifier가 입력을 gene signature, natural language concept, 혹은 혼합 질의로 분류하여 gene marker scoring, semantic cosine similarity, reciprocal rank fusion 파이프라인 중 하나로 라우팅한다.

Achievement

Figure 2. ELISA outperforms CellWhisperer across six datasets and both query types. Radar plots showing retrieval perfor

1. 검색 성능 향상: 6개의 다양한 scRNA-seq 데이터셋(염증성 폐질환, 소아·성인 암, organoid 모델, 건강한 조직, 신경발달)에서 ELISA가 CellWhisperer 대비 cell type retrieval에서 유의하게 우수한 성능을 보였다(combined permutation test, p<0.001), 특히 gene-signature 질의에서 MRR 기준 Cohen's d=5.98의 큰 효과크기를 나타냈다.
2. 생물학적 발견 재현: ELISA는 published biological finding을 평균 composite score 0.90으로 재현했으며, pathway alignment와 theme coverage에서 각각 0.98의 거의 완벽한 수치를 달성했다.
3. 통합 분석 모듈 제공: 원본 count matrix 접근 없이 embedded data만으로 60개 이상의 gene set에 대한 pathway activity scoring, 280개 이상의 curated ligand-receptor pair 예측, condition-aware comparative analysis, cell-type proportion estimation을 수행하는 모듈을 구현했다.
4. 정량적 벤치마킹 프레임워크 제안: gene coverage, interaction recovery, pathway alignment, proportion consistency, qualitative theme coverage 등 5개의 상호보완적 지표로 AI 에이전트가 established biological conclusion을 재현하는 능력을 평가하는 원칙적 프레임워크를 제시했다.

How

Figure 1. Overview of the ELISA architecture. The framework comprises three stages. In data preparation (left), a single

• scGPT expression embedding(cluster 단위)과 BioBERT 기반 768차원 semantic embedding, per-cluster differential expression 통계, GO/Reactome enrichment term, metadata를 하나의 serialized PyTorch embedding file로 저장하여 query time에 원본 count matrix 접근을 제거함
• automatic query classifier가 입력이 gene signature, natural language concept, 혼합 질의인지 판별하여 gene marker scoring, semantic cosine similarity, reciprocal rank fusion(RRF) 중 적절한 파이프라인으로 라우팅
• 네 가지 모듈(hybrid retrieval engine, 분석 스위트, 시각화 툴킷, LLM chat interface)을 공유 embedding file 기반으로 통합
• dataset-derived evidence와 LLM-generated knowledge를 엄격히 분리하여 투명한 hypothesis generation을 지원하고 Nature-style visualization을 포함한 publication-ready report 생성
• 6개의 공개 scRNA-seq 데이터셋(CZ CELLxGENE Discover에서 확보)에 대해 CellWhisperer와 비교 벤치마킹 및 published finding과의 재현성 평가 수행

Originality

• expression foundation model(scGPT) embedding과 semantic language representation(BioBERT)을 query-conditioned retrieval 프레임워크로 통합한 최초의 시도라고 주장
• 질의 유형(gene signature vs natural language vs mixture)에 따라 자동으로 파이프라인을 전환하는 hybrid routing 메커니즘 설계
• dataset-derived evidence와 LLM-generated knowledge의 엄격한 분리를 통한 해석가능성 확보 전략
• 5개 지표 기반의 생물학적 발견 재현성 벤치마킹 프레임워크를 새로 제안

Limitation & Further Study

• 본문 발췌만으로는 LLM reasoning layer의 구체적인 hallucination 방지 메커니즘, prompt 설계, 그리고 evaluation metric의 세부 산출 방식이 명확히 드러나지 않음
• 비교 대상이 CellWhisperer 단일 시스템에 국한되어 있어 Biomni, GeneAgent 등 다른 agentic 시스템과의 직접적 비교가 부재함
• 6개 데이터셋 모두 공개 CZ CELLxGENE 데이터로서, out-of-distribution 데이터나 신규 미공개 데이터에 대한 generalization 검증이 부족함
• affiliation이 없는 단독 저자 논문으로, 대규모 실험 재현성 검증과 외부 커뮤니티에 의한 독립적 검증이 추가로 필요함
• 후속 연구로는 scGPT 외 다른 foundation model과의 결합 가능성, spatial transcriptomics로의 확장, 그리고 실제 wet-lab validation을 통한 가설 검증이 필요함

Evaluation

총평: expression embedding과 semantic retrieval, LLM reasoning을 통합한 참신하고 실용적인 시도로 single-cell genomics에서 agentic AI discovery의 가능성을 잘 보여주지만, 단일 저자·단일 비교대상 벤치마크라는 한계로 인해 추가적인 외부 검증과 비교 실험이 필요하다.