Think Fast, Talk Smart: Partitioning Deterministic and Neural Computation for Structured Health Text Generation

Motivation

• Known: LLM은 wearable coaching summary, lab 해석, medication guidance 등 구조화된 건강 기록을 사용자 친화적 텍스트로 변환하는 데 널리 사용되고 있으며, chain-of-thought, iterative refinement, program-aided reasoning, retrieval-augmented generation, DSPy와 같은 prompt-programming 프레임워크 등 LLM 호출 내부 또는 주변에서 추론 품질을 향상시키는 다양한 기법이 존재한다.
• Gap: 기존 연구는 LLM 호출 내부에서 추론을 향상시키는 방법에 집중했을 뿐, 반복되는 구조화된 헬스 생성 작업에서 어떤 책임(비교, 랭킹, 귀속 등)을 애초에 런타임 LLM 프롬프팅이 아닌 결정론적 계산으로 옮겨야 하는지에 대한 시스템 설계 관점의 질문은 다루지 않았다.
• Why: 반복적인 헬스 인사이트 생성은 fluency뿐 아니라 source data에 대한 충실성, 근거 기반 설명, 정책 준수, machine-readable 출력, 그리고 반복 사용이 가능한 저비용 실행이 요구되므로, 어떤 부분을 검증 가능한 코드로 분리해야 하는지가 안전성과 비용 효율성 모두에 직결되는 실질적 문제이다.
• Approach: 수면 건강 인사이트 생성을 사례 연구로 삼아, 결정론적 코드가 안정적인 분석(비교, 랭킹, 귀속 게이팅)을 수행하고 하나의 bounded LLM writer 호출만 최종 텍스트를 생성하는 TFTS 파이프라인을 설계한 뒤, one-call 프롬프팅 베이스라인 및 개별 분석 레이어를 LLM으로 교체한 조건들과 비교한다.

Achievement

Figure 2. Baseline cost/error frontier across six models (n = 280 per cell). Both panels use end-to-end COST/NIGHT on a

1. 낮은 오류와 비용을 동시에 달성: 280 user-nights, 6개 모델(GPT-5 nano, GPT-4o mini, GPT-OSS-20B/120B, Haiku 4.5, Sonnet 4.6)에 걸쳐 TFTS는 평균 NUMERR 0.7%(최악 모델도 2.0%), instruction-compliance error 3% 미만을 기록하며 STRUCTURED ZERO-SHOT과 STRUCTURED FEW-SHOT 베이스라인보다 numeric error, instruction-compliance error, end-to-end cost 모두에서 우수함을 보였다(Figure 2).
2. 계약별 실패 양상 규명: layer-replacement 프로토콜을 통해 COMPARISON을 LLM으로 대체하면 NUMERR가 16.9%로, RANKER 대체 시 SELERR이 65.8%로, ATTRIBUTION 대체 시 ATTRERR이 24.5%로 급증함을 보여, 각 분석 책임이 서로 다른 방식으로 실패함을 정량적으로 입증했다(Table 1).
3. writer 인터페이스라는 비자명한 실패 지점 발견: 업스트림 사실이 모두 결정론적으로 검증된 상태에서도 evidence-to-writer handoff를 LLM 생성 아티팩트로 대체(REPLACE HANDOFF)하면 NUMERR가 4.8%, ATTRERR이 10.7%로 상승하여, 검증된 사실과 산문 사이의 인터페이스 자체가 신뢰성 메커니즘의 일부임을 밝혔다.

How

Figure 3. Annotated examples of error types. Red highlights mark the LLM output span that violates the target rule; gree

• 4단계 파티셔닝 패턴(구조화 입력 → 결정론적 분석 모듈 → bounded LLM writer → 결정론적 평가)을 data-to-text 문헌의 고전적 분해 방식을 따라 구현
• 각 user-night에 대해 wearable 기반 수면, 회복, 생리, 행동 신호를 입력받아 title, core insight, improvement suggestion, 선택된 metric metadata, attribution tags, chart data를 포함하는 schema-constrained 결과물 생성
• STRUCTURED ZERO-SHOT(원시 데이터+스키마+규칙만 제공)과 STRUCTURED FEW-SHOT(구조화된 metric 테이블, few-shot 예시, 명시적 선택 규칙, numeric-grounding 지침 포함) 두 one-call 베이스라인과 비교
• layer-replacement 프로토콜: 업스트림 레퍼런스 레이어는 모두 결정론적으로 유지한 채 COMPARISON, RANKER, ATTRIBUTION, HANDOFF 레이어 중 하나만 LLM 생성 typed artifact로 교체하여 개별 책임의 실패를 isolate
• SCHEMAERR(JSON 파싱/스키마 오류), NUMERR(수치 주장의 근거 불일치), SELERR(선택 규칙 위반), ATTRERR(근거 미지원 귀속) 네 가지 지표를 저장된 per-night JSON trace로부터 결정론적으로 산출
• 6개 상용/오픈 모델에 대해 cost와 latency를 포함한 end-to-end 비교 수행

Originality

• LLM 파이프라인 개선을 프롬프트 엔지니어링이나 프레임워크 최적화(DSPy 등) 관점이 아니라, 어떤 작업을 애초에 LLM 호출 바깥의 결정론적 코드로 옮겨야 하는가라는 시스템 설계 질문으로 재구성
• 개별 분석 레이어를 하나씩 LLM 아티팩트로 교체하면서 업스트림은 모두 결정론적으로 고정하는 layer-replacement 프로토콜을 제안하여, 최종 writer 프롬프트에서 컨텍스트를 단순 제거하는 기존 ablation보다 엄격하고 공정한 진단 방법을 제공
• writer와 evidence 사이의 handoff 인터페이스 자체를 실패 지점으로 식별하여, "LLM이 유효한 JSON을 생성하는 것"과 "중간 아티팩트의 의도된 의미를 보존하는 것"이 별개 문제임을 실증

Limitation & Further Study

• 단일 도메인(sleep-health)과 단일 회사(Eight Sleep)의 20명 사용자, 280 user-nights라는 비교적 제한된 데이터 규모로 검증되어 다른 헬스 도메인(예: 검사실 결과, 약물 관리)으로의 일반화는 추가 검증이 필요
• 평가 지표(NUMERR, SELERR, ATTRERR)가 결정론적 규칙과 evidence-gated 입력에 의존하는 방식으로 정의되어 있어, 이러한 규칙 자체가 잘못 설계된 경우의 위험은 다루지 않음
• fluency, 사용자 경험, 실제 임상적 유용성 등 텍스트 품질의 정성적 측면에 대한 인간 평가(human evaluation)가 제시되지 않아 오류율 감소가 실제 사용자 만족도로 이어지는지는 불분명
• 향후 연구로 더 다양한 구조화 헬스 도메인 및 더 복잡한 다중 사실 통합 시나리오에서의 파티셔닝 원칙 검증, 그리고 결정론적 규칙 자체의 오류 가능성에 대한 분석이 필요

Evaluation

총평: 반복적인 구조화 헬스 텍스트 생성에서 "무엇을 결정론적 코드로, 무엇을 LLM으로 처리할지"에 대한 명확한 설계 원칙과 이를 검증하는 체계적인 layer-replacement 방법론을 제시한 실용적이고 시의적절한 연구이나, 단일 도메인·소규모 데이터에 기반한 워크숍 논문 수준의 실증적 한계가 있다.