MRAgent: an LLM-based automated agent for causal knowledge discovery in disease via Mendelian randomization

Motivation

• Known: 기존 Mendelian Randomization은 인과관계 추론의 표준 방법이지만, exposure-outcome 쌍을 사전에 식별해야 하며 이는 임상 경험이나 문헌에서 얻기 어렵다. 자동화된 MR 파이프라인(TwoSampleMR)이 존재하지만 수작업 기반의 R 스크립트 작성과 프로그래밍 능력을 요구한다.
• Gap: PubMed 문헌에서 exposure-outcome 쌍을 자동으로 추출하고, 이미 분석된 쌍을 식별한 후, 대규모 GWAS 데이터에 대한 자동화된 MR 분석을 수행하는 통합된 지능형 파이프라인이 부재하다. 임상의가 질병의 인과요인을 신속하게 탐색할 수 있는 사용자 친화적 도구가 필요하다.
• Why: 질병 메커니즘의 이해와 표적 치료 개발을 위해서는 인과관계 규명이 필수적이며, MR을 통한 자동화된 대규모 인과관계 발견은 의생명과학 연구를 크게 촉진할 수 있다. 특히 복잡하고 희귀한 질병의 인과요인 탐색에 있어 임상의의 부담을 크게 경감할 수 있다.
• Approach: MRAgent는 LLM 기반 에이전트 아키텍처를 따르며, LLM을 뇌(지식, 분석, 프로세스 제어)로, CSV 데이터 시트를 메모리로, 도구킷을 감각 및 행동 모듈로 구성한다. 시스템 프롬프트를 통해 LLM을 생물의학 전문가로 설정하고, 구조화된 출력을 생성하게 하며, Python 스크립트로 파싱하여 워크플로우를 제어한다.

Achievement

Figure 2. Workflow.

• MRAgent 아키텍처 설계: 뇌(LLM 기반 지식/분석/제어), 메모리(CSV 데이터 시트 3개), 도구킷(PubMed 접근, MR 분석)으로 구성된 통합 시스템 구축
• 전통적 MR 분석 단계 분해: MR 연구를 구조화된 필수 단계로 재구성하여 자동화 기반 제공
• 자동화 워크플로우 구현: 문헌 스캔→쌍 추출→기존 분석 기록→미분석 쌍에 대한 자동 MR 분석→종합 보고서 생성
• 신뢰성 검증: 각 LLM 단계에 대한 전문가 평가 및 SimCSE 기반 유사도 평가, 다양한 프롬프트 전략 및 실행 시간 분석
• 개념 검증 사례: 실제 질병 사례에 대한 완전한 워크플로우 제시 및 코드 공개

How

Figure 3. The decision tree of labeling.

• LLM을 생물의학 전문가로 설정한 시스템 프롬프트 설계
• 구조화된 출력을 저장할 exposure_and_outcome, outcome, gwas_data 등의 CSV 메모리 데이터 시트 설계
• PubMed 문헌 검색 API와 TwoSampleMR 기반 GWAS 데이터 접근 도구킷 구축
• LLM 출력을 Python으로 파싱하여 동적 워크플로우 제어
• 전문가 주관 평가와 SimCSE 유사도 평가를 통한 검증

Originality

• LLM을 활용한 의생명 도메인 에이전트 시스템 설계의 혁신적 접근: 기존 AI 에이전트 프레임워크를 의학 인과추론에 체계적으로 적용
• Mendelian Randomization과 LLM의 통합으로 문헌 기반 자동 exposure-outcome 추출이 MR 분석으로 직결되는 완전 자동화 파이프라인 구현
• 전통적 MR 연구 프로세스를 구조화하여 AI 자동화에 적합하도록 재설계

Limitation & Further Study

• 데이터 시트 설계 세부사항 미흡: exposure_and_outcome, outcome, gwas_data 데이터 시트의 구체적 스키마와 메모리 관리 메커니즘에 대한 상세한 설명 부재
• 프롬프트 전략 분석 제한: 다양한 프롬프트 전략을 언급했으나 구체적 비교 결과와 최적 전략에 대한 상세 논의 부재
• 출판 편향 미해결: PubMed 문헌 스캔 기반 추출은 발표된 연구에만 의존하여 음성 결과나 미발표 데이터를 놓칠 수 있음
• LLM 에러 처리 미상세: LLM이 구조화되지 않은 출력을 생성하거나 잘못된 exposure-outcome 쌍을 추출할 경우의 예외 처리 전략 불충분
• 후속 연구: LLM 버전별 성능 비교 확대, 다국어 문헌 지원, 다른 인과추론 방법론과의 통합, 임상 배포 가이드라인 개발 필요

Evaluation

총평: MRAgent는 LLM 기반 자동화 에이전트를 의학 인과추론에 창의적으로 적용한 의미 있는 연구로, 문헌 기반 exposure-outcome 발견부터 대규모 MR 분석까지 완전 자동화함으로써 임상 연구의 생산성을 크게 향상시킬 수 있는 잠재력이 있다. 다만 데이터 시트 설계, 프롬프트 최적화, 에러 처리 전략에 대한 상세 설명 보강이 필요하며, 임상 검증과 실제 적용 사례 확대를 통한 신뢰성 강화가 요구된다.