Affinage: Genome-Scale Mechanistic Gene Annotation from the Published Literature

Motivation

• Known: UniProt이나 Gene Ontology 같은 curated database는 생물학자들이 유전자 기능을 파악하는 표준 출발점이지만 수동 큐레이션 주기에 묶여 있어 최신 문헌 대비 지연되며, mechanism reasoning에 필요한 substrate·structural·partner 수준의 세부 정보를 담지 못한다. LLM은 이미 방대한 문헌을 즉석에서 읽고 종합할 수 있는 능력을 보여주고 있다.
• Gap: 단순히 LLM에 유전자 기능을 물어보는 방식은 (1) 표현형 연관이나 가설을 확립된 기전으로 과장하는 overclaiming, (2) 동일 질의에도 답이 달라지는 non-determinism으로 인한 재현 불가능성, (3) 유전자·사용자마다 매번 literature나 database를 재조회해야 하는 비용 문제라는 세 가지 한계를 지니며, 이를 genome-scale로 확장 가능하고 재사용 가능하게 해결한 시스템이 없었다.
• Why: 유전자 기능에 대한 신뢰할 수 있고 최신인 기전 수준 주석은 생물학적 가설 수립과 실험 설계의 근간이며, gene-representation model이나 autonomous bio-AI agent 등 하위 계산 도구들이 이 curated text를 특징(feature)이나 tool로 사용하고 있어 더 지속적으로 갱신되고 충실한 gene function 표현이 시급히 필요하다.
• Approach: Affinage는 유전자당 한 번만 검색과 기전적 추론을 수행하는 two-stage LLM 파이프라인으로, 생물학자가 설계한 엄격한 reading pass로 직접적 실험 증거만 추출하고, 이어지는 synthesis pass가 그 findings만을 근거로 추론하여 구조화된 재사용 가능 기록을 생성한다.

Achievement

1. Genome-scale 적용: 인간 단백질 코딩 유전자 19,293개 전체에 대해 자동으로 기전적 주석을 생성하였다.
2. UniProt 대비 우위: cross-family LLM judge 평가에서 head-to-head 비교 유전자의 99.1%에서 UniProt curated reference를 능가하는 결과를 얻었다.
3. 미해결 영역 규명: 전체 proteome 중 약 10%가 여전히 기전적으로 특성화되지 않은 상태임을 식별하여 지속 갱신되는 literature-grounded census로 기능할 수 있음을 보였다.
4. UniProt 공백 보완: UniProt 기능 설명이 비어 있거나 stub 수준인 수천 개 유전자에 대해 실질적인 기전 정보를 제공하였다.
5. 공개 데이터셋 릴리스: 모든 record를 https://affinage.wi.mit.edu 에서 오픈 공개하여 재사용 가능한 base layer로 제공하였다.

How

• Stage 0 (검색/필터링, LLM 미사용): 정식 gene symbol과 HGNC alias를 이용한 title-restricted PubMed 검색으로 유전자별 corpus를 구성하고, catalog 논문이나 심볼 충돌로 인한 off-target 논문을 제거하는 precision layer를 적용하며, 10편 미만이면 abstract fallback 검색을 수행한다.
• Stage 1 (reading pass, Sonnet 4.6): 직접적 실험 증거(co-immunoprecipitation, in-vitro assay, active-site mutagenesis, genetic epistasis, imaging/fractionation 등)만 인정하고 표현형 연관·발현 상관·검증되지 않은 computational prediction은 배제하는 엄격한 프롬프트로 dated mechanistic findings를 추출하며, 각 finding은 실험 방법·날짜·저널·PMID와 함께 저장된다. finding이 없으면 UniProt 단백질 이름으로 재검색하는 recovery step을 둔다.
• Stage 2 (synthesis pass, Opus 4.8): 원본 abstract가 아닌 Stage 1의 evidence layer만을 읽어 declarative mechanistic narrative, 시기별 open question을 포함한 mechanistic history, controlled vocabulary 기반 mechanism profile 세 층으로 구성된 record를 생성한다.
• 검증: 결정론적 R1–R10 audit layer와 cross-family LLM judge를 이용한 validity 평가를 생성 체인 외부에서 수행하며, 100-gene failure-enriched cohort로 모델 선택(Stage 1/Stage 2 조합, refusal 특성, supported claims per gene 등)을 진행하였다.

Originality

• 유전자 기능 주석을 위해 LLM을 활용하되, 도메인 전문가(cell biologist)가 설계한 엄격한 증거 기준을 프롬프트에 명시적으로 인코딩하여 overclaiming을 통제한 점이 독창적이다.
• 검색(Stage 0)과 reading(Stage 1), synthesis(Stage 2)를 분리하여 한 번의 pass로 재사용 가능한 record를 생성함으로써, 매 질의마다 재검색·재추론이 필요한 기존 LLM 기반 문헌 질의 방식의 비용·비재현성 문제를 구조적으로 해결하였다.
• Genome-scale(19,293개 유전자) 전체에 이를 적용하고 UniProt과 직접 head-to-head 비교를 수행한 대규모 실증 사례라는 점에서 새로운 규모의 적용이다.
• 도메인 전문가의 지식을 스케일 가능한 LLM 파이프라인에 인코딩하여 공개 데이터 인프라를 개선하는 방법론적 모범 사례를 제시한다.

Limitation & Further Study

• Stage 0의 title-first 검색 전략은 정밀도(precision) 위주로 설계되어 있어, 유전자를 제목에 언급하지 않는 핵심 논문이 corpus에서 누락될 수 있으며 이러한 누락은 결정론적 audit으로도 감지되지 않는 silent failure이다.
• 100-gene 평가 cohort는 의도적으로 pessimistic하고 어려운 사례로 편중되어 있어 genome 전체를 대표하지 않으며, genome-wide 정량 평가의 일반화 가능성에 한계가 있다.
• 평가에 사용된 cross-family LLM judge 자체의 편향이나 신뢰성에 대한 독립적 검증이 제한적일 수 있다.
• 후속 연구로는 abstract 이외의 본문 전체 텍스트나 title에 유전자명이 없는 논문까지 포괄하는 recall 개선, 그리고 지속적 갱신 체계의 장기 운영 검증이 필요하다.

Evaluation

총평: 도메인 전문가의 엄격한 증거 기준을 LLM 파이프라인에 인코딩하여 genome-scale 기전 주석을 재현 가능하고 확장 가능하게 생성한 실용적이고 임팩트 있는 연구로, 생물학 커뮤니티에 즉각적인 활용 가치를 제공하지만 검색 recall의 한계와 평가 cohort의 대표성 문제는 추가 검증이 필요하다.