Automatic Construction of Clinical Scoring Systems with LLM Agents

Motivation

• Known: Machine-learning 기반 clinical prediction 모델은 높은 예측 성능을 달성하지만, 임상 현장에서는 CURB-65와 같이 소수의 binary rule을 단순 합산해 threshold로 판정하는 unit-weighted checklist 형태의 score가 여전히 널리 쓰이며, 이는 memorability, auditability, arithmetic-free 실행성 등 워크플로우 제약을 충족하기 때문이다. 기존의 sparse score 학습 방법(예: mixed-integer optimization 기반 checklist 선택)은 checklist 형태의 모델을 자동으로 학습할 수 있음을 보여주었다.
• Gap: 기존 checklist 학습 방법들은 이미 구성된 고정된 후보 규칙(feature matrix) 위에서 subset selection만 수행하며, 임상적으로 의미 있는 파생 규칙 자체를 raw variable로부터 구성하는 문제는 다루지 않는다. 즉, 배포 가능성(deployability)은 대부분 모델링의 1차 제약이 아니라 사후 엔지니어링 문제로 취급되어 왔으며, rule construction과 checklist-compatibility 제약을 동시에 최적화하는 방법이 부재하다.
• Why: 해석 가능성(interpretability)이 배포 가능성(deployability)을 보장하지 않기 때문에, decision tree나 sparse logistic regression처럼 사람이 이해할 수 있는 모델이라도 실제 병상에서 floating-point 연산이나 비기억적 threshold 없이 신뢰성 있게 실행·감사되기 어렵다. 따라서 rule 구성과 checklist 제약을 함께 최적화하는 방법은 evidence-based guideline의 실제 임상 채택률을 높이는 데 중요하다.
• Approach: 임상 checklist 학습을 고정된 feature 위의 subset selection이 아니라, rule construction과 subset selection을 함께 다루는 combinatorial optimization 문제로 재정의하고, LLM이 후보 규칙을 semantic하게 제안하며 deterministic tool이 통계적·구조적 제약을 검증하는 verification-and-selection loop를 결합한 AgentScore를 제안한다.

Achievement

1. 개념적 정식화: Deployable clinical checklist 학습을 고정 feature 기반 checklist selection이 아니라 rule construction과 subset selection을 함께 다루는 joint combinatorial optimization 문제로 formalize하고, temporal pattern, physiologic ratio, shallow composition을 지원하는 rule language를 통해 bedside cognitive/operational 제약을 명시적으로 인코딩했다.
2. 알고리즘적 기여: LLM과 discrete optimization을 결합한 AgentScore를 제안, LLM이 restricted clinical grammar 내에서 semantically structured 후보 rule을 제안하고 deterministic tool이 grammar validity, 통계적 screening, redundancy control, checklist-size 제약을 강제한다.
3. 실증적 성과: MIMIC-IV와 eICU를 아우르는 8개 clinical prediction task에서 AgentScore가 기존 integer score 및 checklist learning baseline을 능가하거나 대등한 성능을 보였고, 더 유연한 interpretable model과도 비교 가능한 AUROC를 더 엄격한 구조적 제약 하에서 달성했으며, 외부 검증된 2개 task에서 기존 guideline-based score보다 높은 discrimination을 보였다.

How

• Clinical variable trajectory $X_i$를 정적 요약 및 사전 정의된 temporal transformation을 포함하는 deployable representation $\tilde{x}_i = \phi(X_i)$로 변환
• Binary-valued predicate $r(\tilde{x})$ 형태의 rule을 restricted clinically-motivated rule language로부터 생성, temporal pattern·physiologic ratio·shallow composition을 포함하는 candidate rule dictionary $\mathcal{R}$ 구성
• LLM-based proposal agent가 candidate rule을 제안하면, 결정론적(data-grounded) verification-and-selection loop가 grammar validity, 통계적 유의성(screening), redundancy 제거, checklist-size 제약을 순차적으로 적용해 unit-weighted N-of-M checklist를 확정
• 모델 클래스를 처음부터 unit-weighted binary rule 합산 및 threshold 판정으로 제한하여 memorability, auditability, arithmetic-free 실행을 보장
• MIMIC-IV와 eICU 기반 8개 clinical prediction task 및 외부 검증된 2개 task에서 기존 CURB-65 등 guideline-based score, integer/checklist learning baseline, 유연한 interpretable model과 AUROC 비교

Originality

• Checklist 학습을 고정된 feature matrix 위의 subset selection 문제로 보지 않고, raw clinical variable로부터 rule을 구성하는 과정 자체를 최적화 대상으로 포함시킨 joint combinatorial formalization
• LLM의 semantic reasoning 능력을 활용해 지수적으로 큰 discrete rule space를 효율적으로 탐색하되, 최종 검증과 선택은 deterministic하고 data-grounded한 절차로 통제하는 하이브리드 LLM-agent + 결정론적 최적화 구조
• Deployability(memorability, auditability, arithmetic-free execution)를 사후 고려사항이 아니라 모델 클래스 자체의 1차 제약으로 명시적으로 설계에 반영한 관점 전환

Limitation & Further Study

• LLM이 제안하는 rule의 품질과 다양성이 backbone 모델 선택에 따라 크게 달라질 수 있으며(Fig. 4 참고), 이는 재현성과 안정성에 대한 우려를 남긴다.
• 검증 데이터셋이 MIMIC-IV, eICU 등 ICU 중심 데이터에 편중되어 있어, 다양한 임상 환경(외래, 응급실 외 부서 등)으로의 일반화 가능성은 추가 검증이 필요하다.
• Rule language가 restricted grammar로 제한되어 있어, 특정 질환군이나 매우 복잡한 병태생리를 포착하기 어려운 rule이 존재할 가능성이 있으며, 이에 대한 확장 연구가 필요하다.
• 후속 연구로 실제 임상의의 사용성 평가(prospective usability study)나 다기관 전향적 검증이 요구된다.

Evaluation

총평: 임상 배포 가능성이라는 실질적 제약을 모델링의 1차 목표로 삼아 LLM agent와 결정론적 검증을 결합한 참신하고 실용적인 접근으로, 여러 임상 예측 과제에서 기존 방법 대비 우수하거나 대등한 성능을 보여 향후 임상 의사결정 지원 도구 개발에 의미 있는 방향성을 제시한다.