CLINIC : Evaluating Multilingual Trustworthiness in Language Models for Healthcare

Motivation

• Known: 기존 연구들은 의료용 vision-language model의 신뢰성을 일부 평가했지만 주로 진단 정확도 같은 단일 측면에 국한되었고, adversarial vulnerability나 multimodal trustworthiness를 다룬 연구(Yang et al. 2024, Xia et al. 2024)도 존재한다. 그러나 이들은 소수의 모델과 영어 중심 평가에 그쳐, 전 세계적으로 다양한 언어를 사용하는 의료 맥락에서의 신뢰성 평가는 미흡했다.
• Gap: 기존 benchmark들은 언어 다양성(특히 mid-, low-resource 언어)을 반영하지 못하고, truthfulness·fairness·safety·robustness·privacy를 아우르는 다차원적이고 통합적인 trustworthiness 평가 체계가 부재했으며, 균일한 언어 분포와 전문 번역된 ground truth를 갖춘 대규모 multilingual medical benchmark가 존재하지 않았다.
• Why: 의료 language model이 전 세계적으로 배포되기 위해서는 다양한 언어 환경에서의 신뢰성이 필수적으로 검증되어야 하며, 이를 소홀히 할 경우 오진, 환자 privacy 침해, 인구통계학적 건강 격차 등 실질적 위험으로 이어질 수 있다. CLINIC은 이러한 위험을 사전에 드러내어 안전한 글로벌 의료 AI 배포의 토대를 마련한다.
• Approach: MedlinePlus와 U.S. FDA의 전문 번역된 다국어 의료 문서를 소스로 활용하여, LLM과 의료 전문가 협업 기반의 two-step prompting 프레임워크로 15개 언어에 걸친 open-ended QA, MCQ, masked-token QA 형태의 고품질 질문을 생성하고, 이를 통해 5대 trustworthiness 축과 18개 하위 task로 13개 language model을 벤치마킹한다.

Achievement

Figure 3. Average (across false confidence, false question, and none of the above test) model hallucination accuracy (↑)

1. 최초의 다국어 의료 trustworthiness benchmark 구축: CLINIC은 15개 언어, 6개 의료 도메인, 28,800개 샘플, 18개 sub-task로 구성된 종합 benchmark를 제시하여, 기존 MedExpQA, Multi-Ophtha, WorldMedQA-V, XMedBench, MMedBench 등과 비교해 언어 수, trustworthiness 평가 여부, 균일한 언어 분포, ground truth 번역 품질 등 모든 측면에서 우위를 보인다(Table 1).
2. 5대 trustworthiness 차원의 구조화된 평가 프레임워크: truthfulness, fairness, safety, privacy, robustness를 adversarial attack, hallucination, jailbreak, privacy leakage, toxicity, sycophancy 등 18개 세부 task로 operationalize했다.
3. 13개 language model에 대한 광범위한 벤치마킹: SLM, LLM, 의료 특화 모델, LRM을 포함한 다양한 모델군을 평가하여, 모델들이 사실 정확성 부족, 인구통계·언어 그룹 간 편향, privacy breach 및 adversarial attack 취약성을 공통적으로 보임을 실증했다.
4. 22명의 도메인 전문가 검증: 모든 언어와 평가 task에 대해 임상적 정확성과 실제 적용 가능성을 확보했다.

How

Figure 2. Construction of CLINIC. Step 1 involves data collection and mapping English samples to their corresponding mul

• MedlinePlus(NLM 관리)와 U.S. FDA 웹사이트에서 전문 번역된 의료 문서를 수집하여 데이터 소스로 사용
• 언어를 high-resource(Arabic, Chinese, English 등), mid-resource(Russian, Vietnamese, Bengali), low-resource(Swahili, Hausa, Nepali, Somali)로 분류
• LLM few-shot 생성과 8년 이상 경력의 인증 의료 전문가 검토를 결합한 질문 생성 파이프라인 구축
• two-step prompting: 영어 원문(pEN)으로 영어 질문(qEN=LLM(pEN))을 먼저 생성한 뒤, 이를 목표 언어 번역문(pTL)에 맞춰 재생성하여 언어적 정합성 확보
• open-ended QA, MCQ, masked-token QA 세 가지 평가 형식 지원
• Refuse-to-Answer, Leaky Rate, Similarity Score, Toxicity Score 등 다양한 지표로 각 trustworthiness 축을 정량 평가

Originality

• 기존 연구가 다루지 않았던 mid-/low-resource 언어를 포함한 15개 언어를 아우르는 최초의 다국어 의료 trustworthiness benchmark를 제안
• truthfulness, fairness, safety, robustness, privacy를 하나의 통합 프레임워크로 결합해 18개 세부 task로 operationalize한 점이 기존 단일 축 중심 연구와 차별화됨
• LLM 생성과 의료 전문가 검증을 결합한 two-step multilingual prompting 기법을 통해 언어적으로 자연스러우면서도 임상적으로 타당한 질문을 생성하는 새로운 데이터 구축 파이프라인 제시

Limitation & Further Study

• 데이터 소스가 MedlinePlus와 FDA 문서에 국한되어 있어, 실제 임상 현장의 비정형적이고 복잡한 질의 패턴을 완전히 반영하지 못할 가능성이 있음
• 15개 언어를 포함하지만 여전히 전 세계 수천 개 언어 중 극히 일부에 불과해, 초저자원 언어(extremely low-resource languages)에 대한 커버리지 확장이 필요
• LLM 기반 질문 생성 과정에서 발생할 수 있는 편향이나 오류가 전문가 검토에도 불구하고 완전히 제거되지 않았을 가능성
• 평가 지표(Similarity Score, Toxicity Score 등)의 신뢰성과 언어 간 일관성에 대한 추가 검증이 필요하며, 후속 연구로 방어 기법(defense mechanism) 개발 및 실제 임상 배포 시나리오에서의 종단 평가가 요구됨

Evaluation

총평: 의료 AI의 글로벌 배포에 있어 반드시 필요한 다국어 trustworthiness 평가의 공백을 체계적으로 메운 선구적이고 실용적 가치가 매우 높은 benchmark 연구이다. 데이터 구축의 엄밀성과 전문가 검증 과정이 돋보이며, 향후 다국어 의료 AI 안전성 연구의 표준 참조점이 될 잠재력이 크다.