Marking the Wrong Symptoms: Evaluating LLM Watermarks in Medical Texts

Motivation

• Known: 기존 LLM watermarking 기법(KGW, DipMark, AAR, PPL, SynthID 등)은 일반 도메인 벤치마크에서 detection power와 perplexity 같은 거친 지표로만 평가되어 왔으며, 의료 LLM은 보통 USMLE 스타일이나 멀티모달 벤치마크에서 accuracy 위주로 평가된다.
• Gap: 의료 텍스트는 작은 token-level perturbation도 임상적 의미를 크게 바꿀 수 있음에도, watermark가 의료 도메인 성능(추론 품질, 용어 정확성, 환각 등)에 미치는 영향에 대한 체계적 연구가 없었고, 유일한 선행 연구(medical-text watermark study)도 chat template 미사용, 25-token cap, paired baseline 부재 등 방법론적 결함이 있었다.
• Why: 임상 워크플로우에 LLM이 빠르게 도입되고 있고 규제 압력으로 watermarking이 주요 provenance 메커니즘으로 부상하고 있는 상황에서, watermark가 accuracy 지표 뒤에 숨겨진 임상적으로 치명적인 실패(환각, 오진, 이미지 오해석)를 유발할 수 있다는 점을 드러내는 것은 안전한 임상 배포를 위한 필수 전제조건이다.
• Approach: 5가지 watermarking scheme(KGW, DipMark, AAR, PPL, SynthID)을 11개 LLM과 7개 VLM에 걸쳐 MedQA와 MedXpertQA-MM 벤치마크에서 평가하고, accuracy와 detectability(TPR@1%FPR)뿐 아니라 physician-validated LLM-as-judge 파이프라인으로 추론 품질, 용어 정확성, 환각을 정량화한다.

Achievement

Figure 3. Impact of watermarking on visual understanding.

1. 정확도의 기만적 안정성 발견: watermark 적용 시 benchmark accuracy는 대부분 baseline의 95% CI 내에 유지되지만, 이는 실제 추론 품질 저하를 은폐한다는 것을 보임(예: PHI-4-14B에서 SynthID 적용 시 flawed reasoning으로 정답을 맞춘 비율이 11.4%→26.3%로 두 배 이상 증가).
2. 환각 및 어휘 손상 정량화: watermarking이 fabricated medical entity를 100문항당 최대 +39.2개까지 증가시키고, 어휘 손상(lexical corruption) 및 오용된 전문 용어를 유발함을 확인.
3. 멀티모달 시각 근거(visual grounding) 저하 규명: 텍스트 생성 단계의 watermark가 VLM의 이미지 기반 클레임 해석을 저해하여, 정확한 이미지 근거 주장은 억제하고 모순된 주장은 증폭시킴을 최초로 분석.
4. reasoning model에서 watermark 위치의 중요성 입증: reasoning trace 전체에 watermark를 적용하면 output length가 최대 69% 증가하며 추론 품질이 저하되는 반면, final answer에만 watermark를 제한하면 추론 품질과 길이가 모두 보존됨을 발견.
5. physician-validated 평가 파이프라인 구축: 8가지 추론/용어 축과 이미지 클레임 검증을 포함한 LLM-as-judge 프로토콜을 임상 전문가 평가와 대조 검증하여 신뢰성을 확보.

How

Figure 1. Overview of our evaluation pipeline. Given a multimodal benchmark instance, we prompt VLMs (using chain-of-tho

• MedQA(2,000문항 USMLE-style 4지선다)와 MedXpertQA-MM(2,000문항, 5지선다, 이미지 포함, 17개 전문분야) 두 벤치마크 사용
• 11개 LLM(범용: LLAMA-3.1, GEMMA-3/4, PHI-4, QWEN-3/-VL; reasoning: DEEPSEEK-R1-DISTILL 계열, QWEN-3.5-27B; 의료 특화: OPENBIOLLM-70B, ULTRAMEDICAL-70B, LINGSHU-7/32B, MEDGEMMA-4/27B)와 7개 VLM을 4B~70B 규모로 평가
• distortionary(KGW, PPL, high-strength AAR/SynthID)와 distortion-free(DipMark, zero-strength AAR, binary tournament SynthID) 변형을 포함한 5개 watermarking scheme을 여러 strength level에서 스윕하여 detectability-quality trade-off를 매핑
• accuracy와 TPR@1%FPR(watermark detectability)을 기본 지표로 산출
• GEMINI-3-FLASH를 judge로 사용해 (1) single-response audit(8개 축+abstention+이미지 클레임 SUPPORTED/CONTRADICTED/UNVERIFIABLE), (2) pairwise divergence audit(watermarked vs unwatermarked 비교), (3) reasoning-trace audit(reasoning model 대상 4개 추론 품질+2개 사실성+2개 배포 관련 차원) 세 가지 구조화된 LLM-as-judge 적용
• 모든 audit은 규제 배포에 요구되는 기준점인 ≥99% TPR@1%FPR을 달성하는 최저 watermark strength에서 수행
• Sec. 4.3 및 App. D에서 judge를 physician agreement와 대조하여 검증

Originality

• 의료 도메인에 특화된 LLM watermarking 평가를 최초로 체계적으로 수행한 연구로, 기존 general-domain 벤치마크 중심 평가의 한계를 명확히 드러냄
• accuracy만으로는 포착되지 않는 flawed reasoning, hallucination, terminology misuse를 정량화하는 physician-validated LLM-as-judge 프로토콜을 새롭게 설계
• 텍스트 decoding 단계 watermark가 멀티모달(VLM) 시각 근거에 미치는 영향을 최초로 분석
• reasoning model에서 watermark를 thinking trace에 적용할지 final answer에만 적용할지에 따른 trade-off를 최초로 체계적으로 규명

Limitation & Further Study

• judge로 단일 모델(GEMINI-3-FLASH)만 사용했으며, judge 자체의 편향이나 한계가 평가 결과에 영향을 줄 가능성이 있음(비록 physician agreement로 검증했으나 완전한 대체는 아님)
• 평가 대상이 MedQA, MedXpertQA-MM 등 특정 벤치마크에 국한되어 있어, 실제 임상 노트, EHR 등 더 다양한 실세계 의료 텍스트 형식으로의 일반화는 추가 검증이 필요
• BIOMISTRAL-7B 등 일부 모델은 instruction tuning 문제로 결과가 혼재되어 있어 confounder 통제가 완전하지 않음
• watermark strength를 ≥99% TPR@1%FPR 기준으로 고정했는데, 실제 배포 환경에서 다양한 강도 설정에 대한 민감도 분석이 제한적일 수 있음
• 향후 연구로 다양한 judge 모델 앙상블, 실제 임상 배포 환경에서의 longitudinal 평가, 더 많은 언어/문화권 의료 텍스트로의 확장이 필요

Evaluation

총평: 의료 LLM에 watermarking을 적용할 때 accuracy 지표 뒤에 숨겨진 임상적으로 심각한 실패 양상을 최초로 체계적이고 엄밀하게 드러낸 중요한 연구로, 안전한 임상 AI 배포를 위한 평가 프레임워크의 필요성을 설득력 있게 제시한다.