Resp-GRASP: Clinically-Grounded Reasoning for Respiratory Signal Interpretation via Guardrailed RAG with Personalized Baselines

Motivation

• Known: 지속적 모니터링을 통해 COPD 증상 발현 5일 전에 생리학적 악화를 조기 감지할 수 있다는 것이 알려져 있으며, Med-PaLM 2, Meditron, MedGemma 같은 임상 언어모델이 정확한 임상 텍스트를 생성할 수 있고, C-GRASP가 HRV 해석을 위한 guardrailed RAG 파이프라인과 dual z-score normalization을 이미 제안한 바 있다.
• Gap: 기존 예측 모델은 임상의가 검토할 수 없는 black box 형태이며, population-based threshold를 사용해 개인 편차를 반영하지 못해 false positive가 발생한다. 또한 C-GRASP는 HRV 특화 설계로 호흡 신호의 breath-by-breath artifact나 patient-population 충돌 해결 규칙, evidence contamination 문제를 다루지 못하며, 기존 RAG 평가 프레임워크(RAGAS, ARES, RAGChecker)는 중간 추론 단계를 검증하지 못하고 response-level faithfulness만 측정한다.
• Why: COPD는 미국에서 1600만 명이 앓고 있고 연간 320억 달러 이상의 치료비가 소요되며, 중증 악화가 반복될 경우 사망률이 4배 증가하는 만큼, 설명 가능하고 개인화된 조기 경보 시스템은 임상적 신뢰와 실제 배치 가능성을 크게 높일 수 있다.
• Approach: NeuroKit2 기반 breath-by-breath feature extraction과 4종 artifact detector, dual z-score hierarchy(population vs. patient-specific, 충돌 해결 규칙 포함), 그리고 395개 RAG chunk에 근거해 ATS/ERS·NEWS2 가이드라인을 인용하는 MedGemma-27B 기반 6단계 guardrailed reasoning을 결합한 3단계 파이프라인을 제안하고, 추론 품질을 평가하기 위해 evidence-stripping 기반 Semantic Directional CRC(SD-CRC)를 새로 도입했다.

Achievement

Figure 2. FPR and sensitivity by strategy (left), Matthews Correla-

1. False positive 대폭 감소 및 민감도 향상: population 기반 접근 대비 hierarchical 전략이 FPR을 15.8%에서 2.6%(patient-only 기준)까지 6배 낮추고, 민감도는 53.3%에서 93.3%로 거의 2배 향상시켰으며(McNemar p=0.031), MCC 최대 +0.907을 달성했다.
2. SD-CRC 도입 및 검증: evidence stripping을 적용해 서사와 정량적 z-score 근거의 방향적 일치를 측정하는 새로운 평가 지표를 제안하고, Resp-GRASP가 85.7% SD-CRC(t=8.74, p<0.0001)를 기록함을 보였다.
3. 신호처리 정확도 유지: NeuroKit2 대비 MAE 차이가 0.071 bpm에 불과해 임상적으로 무시 가능한 수준의 오버헤드로 breath-by-breath feature를 추출했다.
4. 메커니즘 분석을 통한 실패 유형 규명: linear probing을 통해 모델이 z-score의 크기와 방향을 내부적으로 인코딩하지만 이를 텍스트 출력으로 일관되게 변환하지 못하는 decoding failure를 확인했다.

How

Figure 1. Resp-GRASP three-stage pipeline: (A) Feature Ex-

• Feature Extraction (Stage A): NeuroKit2로 8분간 125Hz 임피던스 뉴모그래피 신호를 breath 단위로 분할하고 Ti, Te, Ttot, Vt, PIF, PEF, RR 등 특징 벡터를 추출, cough/speech/movement/sensor failure 4종 artifact를 심각도 점수(S = 0.4s_cough+0.3s_speech+0.2s_move+0.1s_sensor)로 결합해 4단계 등급 분류.
• Dual Z-Score Hierarchy: population norm 대비 z_trad와 patient 자신의 baseline(0-5분) 대비 z_delta를 계산하고, |z_delta|>0.5이면 z_delta를 우선하는 공식적 충돌 해결 규칙(z_primary) 적용.
• Six-Step Guardrailed Reasoning (Stage B): 4-bit quantized MedGemma-27B-Thinking이 14개 공개 자료 기반 395개 RAG chunk(BioLORD-2023 임베딩)를 근거로 artifact breakdown, z-score, risk score, confidence, 인용 포함 서사, 권고사항, 한계 disclosure를 담은 구조화된 JSON 리포트 생성.
• SD-CRC 평가 (Stage C): |z_delta|≥0.5인 evaluable pair에서 근거 문장을 제거한 뒤 모델 서사(R)를 BioLORD-2023으로 임베딩, 긍정/부정 참조 문구 집합과의 코사인 유사도 부호가 z_delta 부호와 일치하는지 확인. 두 단계 게이트(τ=0.5, α=0.35)로 평가 대상 집합 Ω 결정.
• Mechanistic Probing: MedGemma-27B의 특정 layer hidden state를 추출해 CRC correctness, |z_delta|, z-score 방향을 예측하는 3개의 linear probe를 5-fold CV로 학습.
• Cohort 평가: BIDMC 데이터셋(53명 ICU 환자, 8분 다중 신호, expert-annotated ground truth κ=0.92)에서 43명 완주, 10명은 severe artifact로 파이프라인 조기 종료.

Originality

• C-GRASP(HRV 특화)를 확장해 호흡 신호에 특화된 artifact detector, breathing-cycle reasoning framework, 공식적 dual z-score conflict resolution 규칙을 새로 설계함.
• 기존 RAG faithfulness 지표(RAGAS, ARES, RAGChecker)가 다루지 못한 중간 추론 단계의 방향적 일관성을 평가하는 SD-CRC를 evidence stripping과 함께 최초로 도입함.
• population 통계보다 개인 trend를 우선시하는 patient-adaptive normalization을 명시적 우선순위 공식으로 formalize함.

Limitation & Further Study

• 모델 학습 없이 BIDMC ICU 환자 53명(8분 단발 기록)만으로 평가되어, 실제 COPD 악화 예측의 종단적(longitudinal) 임상 타당성이 아닌 proof-of-concept 수준에 그침.
• 8분이라는 짧은 기록 시간으로 patient-specific baseline(0-5분)을 설정해 실제 장기 모니터링 환경에서의 baseline drift나 cold-start 문제를 충분히 검증하지 못함.
• rr_cv 등 일부 feature에서 SD-CRC가 75%로 상대적으로 낮아 저판별력(|z_delta|<1.0) 구간에서 추론 실패가 집중됨.
• Probe 1 결과가 majority-class baseline보다 낮아 self-uncertainty 추정이 불완전하며, 후속 연구로 실제 COPD 악화 사건이 라벨링된 전향적(prospective) 코호트에서의 검증이 필요함.

Evaluation

총평: 호흡 신호 해석에 개인화된 baseline과 guardrailed LLM reasoning, 그리고 새로운 평가 지표(SD-CRC)를 결합한 참신하고 임상적으로 의미 있는 접근이나, 단발성 ICU 데이터셋에 국한된 proof-of-concept 수준이라 실제 COPD 예측 배치를 위해서는 종단적 전향 검증이 반드시 필요하다.