A multi-agent system for automating scientific discovery

Motivation

• Known: 기존의 LLM 기반 시스템들은 가설 생성, 약물 특성 예측 등 개별 작업을 자동화했으나, 가설 생성과 실험 결과 분석을 통합한 완전한 과학적 발견 자동화 시스템은 없었다.
• Gap: 기존 시스템들은 과학적 방법의 핵심 단계들을 부분적으로만 자동화했으며, 가설 생성부터 실험 분석, 가설 정제까지의 반복적 피드백 루프를 구현하지 못했다.
• Why: 약물 재용도화(drug repurposing)는 과학 문헌에 이미 존재하는 인사이트를 논리적으로 연결하여 새로운 치료법을 발견하는 데 수년의 지연이 발생한다. LLM 시스템이 이러한 지연을 극복하고 과학적 발견을 가속화할 수 있는 강력한 도구가 될 수 있기 때문에 중요하다.
• Approach: Robin은 PaperQA2 기반의 문헌 검색 에이전트(Crow, Falcon)와 데이터 분석 에이전트(Finch)를 조정하여 질병에 대한 치료 후보를 생성한다. LLM judge를 사용하여 가설들을 비교 순위화하고, 실험 결과 분석을 통해 새로운 가설을 생성하는 반복적 워크플로우를 구현했다.

Achievement

Figure 2: Robin generates therapeutic candidate hypotheses for dry AMD and analyzes experimental data from

건성 황반변성(dAMD) 약물 발굴: Robin은 망막색소상피(RPE) 식세포작용 증강을 치료 전략으로 제안하고, 임상 사용 약물인 Ripasudil(ROCK inhibitor)과 KL001의 효능을 시험관에서 확인했다. 메커니즘 규명: RNA-seq 분석을 통해 Ripasudil이 지질 유출 펌프 ABCA1을 상향조절함을 발견했다. 효율성: 551개 논문을 30분에 분석(인간은 540시간 소요)하여 약 200배의 시간 단축을 달성했다. 자동화 범위: 가설 생성부터 데이터 분석, 가설 정제까지 과학적 방법의 모든 핵심 단계를 자동화한 최초의 시스템을 구현했다.

How

• 질병명을 입력으로 하여 Robin이 자동으로 질병 메커니즘을 파악하고 Crow를 배치하여 문헌 검색 수행
• 잠재적 인 비트로 모델을 식별하고 LLM judge를 이용한 쌍별 비교를 통해 최상위 모델 선택
• 선택된 모델을 바탕으로 치료 후보 약물 생성
• 실험 결과를 수집하여 Finch 에이전트로 자동 분석
• 분석 결과를 해석하여 다음 라운드의 가설 생성 및 실험 설계

Originality

• 문헌 기반 가설 생성과 실험실 데이터 분석을 단일 연속 워크플로우로 통합한 최초의 다중 에이전트 시스템
• 반복적 피드백 루프를 통해 과학적 발견 전체 사이클을 자동화
• Lab-in-the-loop 프레임워크 내에서 AI가 자율적으로 치료 후보를 발견하고 검증한 최초의 사례

Limitation & Further Study

• dAMD라는 단일 질병에만 적용되었으며, 다른 질병 영역에 대한 일반화 가능성이 제한적
• 실험 결과 분석과 해석이 여전히 기본적인 통계 기반이며, 복잡한 생물학적 시스템에 대한 깊이 있는 이해가 부족할 수 있음
• 제안된 약물 후보(Ripasudil, KL001)의 임상 유효성은 아직 검증되지 않음
• LLM의 환각(hallucination) 문제에 대한 명확한 대책이 부재하며, 검증 메커니즘의 강건성 불명확
• 후속 연구: 다양한 질병 영역에 대한 적용, 더 복잡한 생물학적 시스템에 대한 확장, 임상 단계로의 진행

Evaluation

총평: 이 논문은 과학적 발견 자동화 분야에서 획기적인 성과를 제시한다. 문헌 기반 가설 생성과 실험 데이터 분석을 통합한 최초의 다중 에이전트 시스템 Robin을 개발했으며, dAMD 치료제 발굴을 통해 실제 과학적 가치를 입증했다. 특히 기존의 부분적 자동화를 넘어 과학적 방법 전체 사이클을 자동화한 점과 AI가 새로운 치료 후보를 발견한 점이 의미 있다. 다만 단일 질병에 대한 검증, 임상 유효성 미확인, LLM 환각 문제 등의 한계가 있으나, 과학적 발견의 미래 방향을 제시하는 중요한 연구로 평가된다.