Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency

Motivation

• Known: LLM은 복잡한 임상 사례 벤치마크에서 60-70%의 진단 정확도를 달성하는 것으로 알려져 있으며, 전문 진단의는 diagnostic schema라는 재사용 가능한 지식 구조를 통해 임상 소견, 가능 질환, 판별 소견을 연결하여 추론한다는 것이 임상 추론 과학에서 확립된 이론이다.
• Gap: 기존 평가는 최종 진단 정확도에만 초점을 맞추어 LLM의 자유 텍스트 추론 흔적(trace)이 실제로 안정적이고 임상적으로 근거한 구조를 갖는지, 아니면 단순 패턴 매칭에 불과한지를 구분하지 못했으며, 이를 정량적으로 비교할 수 있는 구조화된 표현과 평가 방법이 부재했다.
• Why: 정확도만으로는 모델의 추론이 신뢰할 만한 임상적 근거에 기반하는지 알 수 없으므로, 임상 배치를 고려할 때 추론의 일관성과 구조를 감사(audit)할 수 있는 방법론이 중요하며, 이는 LLM의 임상적 신뢰성 평가에 근본적인 함의를 갖는다.
• Approach: 저자들은 5개 LLM이 50개 NEJM CPC 사례에 대해 3가지 프롬프트 조건 하에 생성한 750개 추론 흔적을 도메인 기반 온톨로지로 그래프화하고, 임상적으로 유사한 사례 군집 내부와 군집 간 그래프 유사도를 비교하는 방식으로 스키마 일관성을 검증한다.

Achievement

Figure 2. Empirical distributions of pairwise graph similarity.

1. 온톨로지 및 추출 파이프라인 구축: 5개 노드 유형과 7개 엣지 유형으로 구성된 임상 추론 온톨로지를 정의하고, GPT-5.4 기반 추출 파이프라인으로 750개 흔적 전부(100%)를 검증 가능한 그래프로 변환했다(평균 47.0개 노드, 58.7개 엣지).
2. 높은 추출 신뢰도 검증: 의사가 직접 검토한 결과 엣지 정밀도 98.4%, 임상적으로 유의미한 재현율 94.8%를 달성했으며, gold diagnosis 배제·다른 추출기(Claude Opus 4.7) 사용 등 다각도의 강건성 점검을 수행했다.
3. 스키마 일관성 부재 실증: 15개 모델-조건 조합 전반에서 군집 내부와 군집 간 그래프 유사도가 거의 동일했고, 다중검정 보정 후 유의한 차이를 보인 조합이 하나도 없어 스키마 규모의 일관성 증거를 찾지 못했다.
4. 정확도와 추론 구조의 독립성 규명: 두 모델이 모두 정답인 경우(0.488)와 모두 오답인 경우(0.484)의 그래프 유사도가 거의 동일하여, 그래프 구조가 정확도와는 별개의 평가 차원을 포착함을 보였다.
5. 프롬프팅 개입 효과 분석: structured reflection 프롬프트가 흔적 내 명시적 판별 소견 분석은 증가시켰으나 사례 간 일관성은 증가시키지 못함을 확인했다.

How

Figure 1. A clinical reasoning graph extracted from a single LLM

• 사전등록된 프로토콜에 따라 GPT-5.4, GPT-5.2, Claude Opus 4.5, Claude Sonnet 4.5, Gemini 3 Pro 5개 모델이 baseline, adversarial, structured reflection 세 프롬프트 조건 하에 50개 NEJM CPC 사례에 대해 추론 흔적을 생성
• GPT-5.4를 이용해 각 흔적을 스키마 유효 JSON 형태의 clinical reasoning graph로 추출(엣지에 phase 태그 부여, reflection 관련 엣지 제약 적용)
• text-embedding-3-large 기반 2단계 군집화(장기 계통 분류 후 임베딩 서브군집화)로 20개 임상 군집 생성, 의사가 군집의 임상적 일관성 검토
• feature overlap, diagnosis overlap, motif similarity(엣지-유형 삼중항 분포의 1-JSD), qualifier overlap, reasoning depth(판별 엣지 비율) 5개 요소의 가중 합(모티프 0.35, 진단 0.30, 특징 0.15, 한정어 0.10, 깊이 0.10)으로 pairwise 그래프 유사도 산출
• 동일 사례를 다른 모델이 추론한 쌍은 제외하고, 서로 다른 사례 간 군집 내부/외부 유사도를 비교하여 스키마 일관성 검정

Originality

• 자유 텍스트 LLM 진단 추론을 임상 추론 이론(diagnostic schema 개념)에 근거한 그래프 표현으로 변환하는 새로운 온톨로지와 파이프라인을 제시
• 정확도 중심 평가 패러다임을 넘어, 그래프 구조 유사도를 통해 "추론의 일관성"이라는 별도 차원을 정량적으로 측정하는 방법론 제안
• 정답/오답 여부와 무관하게 그래프 유사도를 비교함으로써 정확도와 추론 구조가 독립적 차원임을 실증적으로 분리해낸 접근
• 온톨로지, 추출 파이프라인, 검증 프로토콜, 750개 그래프 데이터셋을 공개 자원으로 제공하여 후속 연구의 재현성과 확장성을 지원

Limitation & Further Study

• 그래프 추출에 사용된 GPT-5.4가 평가 대상 모델 중 하나이기도 하여 추출기 편향 가능성이 완전히 배제되지 않으며, 저자들이 추가 점검을 수행했으나 근본적 우려는 남음
• 유사도 구성 요소의 가중치가 원 연구를 그대로 따랐고 재최적화되지 않아, 가중치 선택에 따라 결과가 달라질 가능성 존재
• 군집화가 50개 사례에서 파생된 20개 군집으로 제한적이며 표본 크기가 작아 통계적 검정력에 한계가 있을 수 있음
• 단일 LLM 판정자(Claude Opus 4.6)에 의한 정확도 채점 및 단일 물리학자(의사) 검토에 의존해 평가자 편향 가능성 존재
• 후속 연구로는 더 큰 규모의 사례·모델·질환 영역에 걸친 검증, 가중치 최적화, 다양한 판정자를 이용한 채점 편향 완화 등이 필요

Evaluation

총평: 정확도 지표를 넘어선 구조적 추론 평가라는 중요한 문제를 다루며 새로운 온톨로지와 검증된 파이프라인, 공개 자원을 제공한다는 점에서 가치가 크지만, 추출기 자기참조 편향과 표본 규모의 한계로 결론의 일반화에는 신중함이 필요하다.