Expert-guided Clinical Text Augmentation via Query-Based Model Collaboration

Motivation

• Known: LLM은 강력한 생성 능력으로 텍스트 데이터 증강에 널리 활용되고 있으며, ClinicalBert, BioBert, GatorTron, NYUTron 등 도메인 특화 사전학습 언어모델이 임상 예측 과제에서 우수한 성능을 보여왔다. 또한 semantic-preserving 텍스트 증강 기법들(동의어 치환, LLM 기반 세밀한 증강 등)이 기존 연구에서 다루어졌다.
• Gap: 기존 LLM 기반 증강 방법은 헬스케어처럼 안전이 중요한 고위험 도메인에서 임상적으로 부정확하거나 오도하는 정보를 생성할 위험이 있으며, 어떤 정보가 핵심(critical)이고 어떤 것이 아닌지 구분하지 못해 원본 샘플의 의미를 왜곡하는 한계가 있다. 기존 연구들은 이러한 도메인 특화 안전장치(domain-specific safeguards) 없이 증강을 수행해왔다.
• Why: 임상 노트의 증강 데이터에 환각된 증상이나 잘못된 활력징후 등이 포함되면 이를 학습한 모델이 오류를 전파해 실제 임상 의사결정에 악영향을 줄 수 있으므로, 안전하고 신뢰할 수 있는 임상 텍스트 증강 방법의 개발은 헬스케어 AI 도입에 있어 중요한 과제이다.
• Approach: 경량 BERT 기반 weak expert 모델이 LLM의 생성 과정을 query 기반으로 감독하도록 하는 model collaboration 프레임워크를 제안하여, 추가 학습 없이도 핵심 의료 정보를 보존하면서 안전한 증강 데이터를 생성한다.

Achievement

1. 환각 감소 및 정보 보존 향상: 제안된 방법이 기존 LLM 기반 및 전통적 증강 기법 대비 token 및 concept 수준 모두에서 핵심 의료 정보 보존을 크게 개선하고 환각을 감소시킴을 입증했다.
2. 다운스트림 성능 향상: 여러 임상 예측 과제에서 기존 증강 방법 대비 일관된 성능 향상을 보였다.
3. 전문가 평가를 통한 검증: human expert annotation을 통해 제안 방법이 안전성을 높이고 환각을 줄인다는 것을 실증적으로 확인했다.
4. 단일 모델로의 distillation: 추가 학습 없는 협업 방식으로 구축된 프레임워크를 preference learning(예: DPO 계열의 Rafailov et al., 2024 방식)을 통해 단일 모델로 distill하여, 다양한 배포 환경에 적용 가능한 대안을 제시했다.

How

• 핵심 변수(critical variables) V를 정의하는 구조 인지(structure-aware) 데이터 증강 문제를 설정: 임상/법률 도메인에서 예측 라벨 y에 실제로 영향을 미치는 토큰/구(phrase)를 도메인 지식으로 식별
• 경량 BERT 기반 "weak expert" 모델을 query 기반으로 활용하여 LLM의 생성 과정에서 핵심 정보가 변형되지 않도록 감독
• LLM과 weak expert 모델 간의 협업(model collaboration)을 통해 안전성과 계산 효율성을 동시에 확보 (추가 학습 없이 pre-trained 모델만으로 구성)
• entity-level 평가 프로토콜을 사용해 정보 보존 및 환각을 token/concept 수준에서 측정
• Patient Phenotyping 등 다중 임상 예측 태스크에서 zero/one/few-shot 설정으로 다운스트림 성능 비교
• preference learning(Rafailov et al., 2024) 기반으로 협업 프레임워크를 단일 LLM에 distillation하여 별도 학습 가능한 버전 제시

Originality

• LLM 단독 생성이 아닌, 경량 도메인 전문가 모델(BERT 기반)이 query 형태로 LLM 생성을 실시간 감독하는 model collaboration 구조를 임상 텍스트 증강에 최초로 적용
• 추가 학습(fine-tuning) 없이 사전학습된 모델들의 협업만으로 안전성과 효율성을 동시에 달성하는 lightweight 프레임워크 설계
• 안전한 협업 방식(non-trainable)을 preference learning을 통해 단일 trainable 모델로 distill하는 아이디어로, 배포 유연성 확보
• token/concept 이중 수준의 entity-level 평가 프로토콜을 통한 정보 보존·환각 정량화 방법론 제시

Limitation & Further Study

• weak expert 모델(BERT 기반)의 성능과 커버리지에 따라 감독 품질이 제한될 수 있으며, 도메인/질병군이 다른 데이터셋에 대한 일반화 가능성은 추가 검증이 필요함
• query 기반 협업의 계산 오버헤드나 실제 임상 배포 시의 지연시간(latency)에 대한 분석이 부족해 보임
• human expert annotation 규모와 다양성(전문의 수, 배경)이 결과의 통계적 신뢰도에 영향을 줄 수 있어 추후 대규모 검증이 필요
• distillation된 단일 모델이 협업 프레임워크의 안전성 이점을 완전히 재현하는지에 대한 심층 분석이 후속 연구로 필요함

Evaluation

총평: 임상 텍스트 증강에서 안전성과 효율성을 동시에 잡기 위한 실용적이고 창의적인 model collaboration 접근을 제시했으며, 실험과 전문가 검증을 통해 실질적인 개선을 보여준 점이 인상적이나 일반화 가능성과 배포 측면의 추가 검토가 필요하다.