HypoChainer: A Collaborative System Combining LLMs and Knowledge Graphs for Hypothesis-Driven Scientific Discovery

Motivation

• Known: 과학적 발견에서 GNN 기반 예측 생성과 LLM 기반 필터링이 활용되고 있으나, LLM의 hallucination 문제와 구조화된 지식 부재로 인한 신뢰성 제약이 존재한다.
• Gap: GNN 예측의 대량 산출물을 전문가가 수동으로 선별하기 어렵고, LLM의 hallucination을 완화하면서 Knowledge Graph와 통합하여 해석 가능하고 지식 기반의 가설 생성을 지원하는 인터랙티브 시스템이 부족하다.
• Why: 약물 재목적화(drug repurposing)와 같은 생의학 분야에서 신규 메커니즘 발견의 효율성을 높이기 위해 인간 전문성, LLM의 추론, 구조화된 지식의 세 가지를 협력적으로 통합하는 프레임워크의 필요성이 있다.
• Approach: 전문가 인터뷰를 통해 여섯 가지 설계 요구사항을 도출하고, RAG 기반 검색-증강 LLM과 Knowledge Graph를 활용하며, 세 단계 워크플로우(탐색→구성→검증)를 시각 분석으로 지원하는 인터랙티브 시스템을 설계했다.

Achievement

Fig. 1: In the presented case study, the biologist’s analytical workflow unfolds as follows: 1 Upload Drug Repurposing d

• 약물 재목적화 사례 연구: CACNA1C와 Episodic Ataxia Type 5 간의 새로운 연관성 발견 및 Huntington 질병과 관련된 예측 식별에 성공
• 전문가 인터뷰 검증: 도메인 전문가들이 시스템의 효과성과 해석 가능성을 확인
• 설계 프레임워크 도출: LLM과 Knowledge Graph 통합을 위한 여섯 가지 핵심 설계 요구사항 체계화
• 가설 사슬 구성: 구조화된 추론 경로를 통해 다중 관련 가설을 논리적으로 연결하는 메커니즘 제시

How

Fig. 2: Comparison of Traditional Practice A and HypoChainer Pipeline

• RAG를 활용한 GNN 예측 검색으로 전문가의 쿼리 관련 후보 추출
• 차원 축소 및 시각화로 대규모 예측 집합의 탐색 용이
• LLM 생성 설명을 통한 예측 경로의 해석 가능성 제공
• Knowledge Graph 관계 탐색으로 가설 사슬 반복적 구성 및 정제
• KG 기반 근거 필터링으로 검증 우선순위 결정
• 시각 분석을 통한 추론 약점 강화

Originality

• 인간-AI 협업 프레임워크: LLM과 Knowledge Graph를 전문가 직관과 결합하여 정보 사일로를 제거하는 통합 시스템 제시
• 가설 사슬 개념: 구조화된 추론 경로를 통해 다중 관련 가설 간의 논리적 연결을 체계화
• RAG 기반 KG 통합: retrieval-augmented LLM과 Knowledge Graph의 조합으로 hallucination 완화 및 지식 기반성 확보
• 형성 연구 기반 설계: 전문가 인터뷰 기반의 여섯 가지 설계 요구사항 도출로 사용자 중심의 요구 반영

Limitation & Further Study

• 사례 연구 제한성: 약물 재목적화 도메인과 전문가 인터뷰만 제시되어 타 과학 분야(단백질 구조 예측, 신약 개발 등)에서의 일반화 가능성 미검증
• 평가 방법론 부족: 정량적 효과성 측정 지표 부재로 전통적 방법과의 비교 평가 불충분
• LLM 신뢰성: RAG 기반 검색도 오류 가능성 존재하며, Knowledge Graph의 불완전성이나 오류가 LLM 출력에 미치는 영향 미분석
• 확장성 고려 부족: 초대형 Knowledge Graph나 극도로 높은 차원의 예측 공간에서의 성능 및 계산 효율성 미검토
• 후속 연구: GNN 모델 개선, 더 큰 규모 데이터셋 평가, 타 도메인 사례 연구, 계산 복잡도 최적화 필요

Evaluation

총평: 이 연구는 LLM의 hallucination 문제를 Knowledge Graph로 완화하고 시각 분석을 통한 인간-AI 협업을 체계화하여 과학적 발견 프로세스를 혁신하는 실질적인 프레임워크를 제시한다. 단, 정량적 평가 부족과 제한된 도메인 사례로 일반화 가능성 검증이 필요하다.