MedMosaic: A Challenging Large Scale Benchmark of Diverse Medical Audio

Motivation

• Known: 기존 audio QA 벤치마크(MMAU, MMAR, AudioBench, Clotho-AQA 등)는 environmental sound, speech, music에 대한 reasoning 평가를 확장해왔고, LaLM(Audio Flamingo, Qwen-Audio, SALMONN 등)은 cross-modal grounding과 temporal abstraction 등 emergent reasoning 능력을 보이고 있다.
• Gap: 기존 벤치마크는 짧은 오디오 세그먼트, single-turn 질문, 환경음 위주로 구성되어 있어 long-range temporal reasoning, multi-turn 상호작용, 그리고 respiratory sound·vocal strain 등 subtle한 임상 특이적 acoustic marker에 대한 평가가 불가능하며, medical audio는 privacy 규제와 도메인 전문성 요구로 인해 대규모 데이터 수집이 어려워 이 공백이 지속되고 있다.
• Why: 임상 의사결정은 발화 내용과 respiratory sound, 발성 긴장, 망설임, 고통의 prosodic marker 같은 의료 acoustic 신호의 정합에 크게 의존하는데, 이를 체계적으로 평가할 대규모 멀티모달 벤치마크가 부재했기 때문에 MedMosaic은 도메인 특화 multimodal reasoning 모델 개발의 필요성과 방향을 제시하는 데 중요하다.
• Approach: Gemini-3-flash를 활용해 non-speech physiological sound, 합성 임상 음성, 실제 단/장문 임상 대화를 아우르는 46,701개의 multiple-choice, sequential multi-turn, open-ended QA 쌍을 생성하는 scalable synthetic generation pipeline을 제안하고, 이를 통해 13개 audio/multimodal reasoning 모델을 벤치마킹했다.

Achievement

1. 대규모 medical audio QA 벤치마크 구축: 물리적 생리음, 합성 음성, 실제 임상 대화를 포함해 46,701개의 QA 쌍을 커버하는 데이터셋을 구축하여 short/long-context inference, multi-turn reasoning, 물리적 소리 추론을 체계적으로 평가 가능하게 함.
2. Scalable synthetic 오디오 생성 파이프라인 제안: coughs 같은 physiological artifact, 감정·고통 마커, 시간 구조화된 정보를 embedding하는 controlled generation framework를 제안해 reasoning 난이도를 명시적으로 제어하면서 대규모 데이터 구축을 가능케 함.
3. Reasoning 중심 평가 프로토콜 설계: multiple-choice 외에 open-ended QA와 Voice-embedded QA(질문과 답이 오디오 waveform에 직접 통합)를 포함해 unconstrained reasoning과 generative capability, context switch에 대한 엄격한 테스트를 제공함.
4. 최신 모델들의 한계 실증: Gemini-2.5-Pro 68.1%, Gemini-2.5-Flash 60.5%, Qwen-2.5-Omni-7B 42.8%의 weighted average accuracy만을 달성함을 보여 최소한의 human oversight로도 어려운 clinically grounded 벤치마크를 scalable하게 생성할 수 있음을 검증함.

How

• Gemini-3-flash를 이용해 Easy/Medium/Hard 세 난이도로 QA 쌍을 생성하며, open-ended를 제외한 모든 문제에 10개의 신중히 제작된 선택지(정답 1개) 부여
• 질문과 선택지는 LLM의 medical knowledge database만으로는 답할 수 없고 반드시 오디오를 들어야 답할 수 있도록 설계
• 물리적 생리음(coughs 등), 감정·고통의 acoustic marker, 시간적으로 구조화된 정보를 삽입하는 controlled synthetic speech 생성 프레임워크 적용
• 실제 단/장문 임상 대화를 통합해 다양한 context length를 모델링
• multiple-choice, sequential multi-turn, open-ended, voice-embedded QA 등 다양한 QA 유형으로 구성된 평가 프로토콜을 통해 13개 audio/multimodal reasoning 모델(Gemini-2.5-Pro/Flash, Qwen-2.5-Omni-7B 등) 벤치마킹 수행

Originality

• 기존 벤치마크가 다루지 않은 medical domain 특화 audio(생리음+임상 대화+합성 음성)를 통합한 대규모 QA 데이터셋을 최초로 제시
• Voice-embedded QA라는 새로운 평가 방식을 도입해 임상 대화 이해에서 질문 이해로의 급격한 context 전환에 대한 reasoning을 테스트
• 최소한의 human oversight로 대규모의 어려운 clinically grounded 벤치마크를 합성 생성할 수 있음을 실증적으로 검증한 scalable generation paradigm 제안

Limitation & Further Study

• 데이터셋의 상당 부분이 synthetic 생성에 의존하고 있어 실제 임상 환경의 노이즈, 화자 다양성, 실제 오류 패턴을 완전히 반영하지 못할 가능성이 있음
• QA 쌍 생성이 Gemini-3-flash라는 특정 LLM에 의존하므로 생성 편향(생성 모델 자체의 한계나 편향)이 벤치마크 품질에 영향을 줄 수 있음
• 발췌된 내용상 privacy 및 임상 실사용성 검증(실제 임상의의 annotation quality 검증 등)에 대한 구체적 설명이 부족해 후속 연구에서 인간 전문가 검증 비율을 확대하고 실제 환자 데이터와의 정합성을 평가할 필요가 있음
• 다양한 언어·문화적 배경의 임상 대화 반영 여부가 불분명하여 다국어·다문화 확장 연구가 필요함

Evaluation

총평: MedMosaic은 의료 오디오 reasoning 평가의 공백을 채우는 대규모, 다양한 QA 벤치마크로서 실질적 기여도가 크며, 최신 모델들의 명확한 한계를 드러내 향후 도메인 특화 multimodal reasoning 모델 연구를 촉진할 잠재력이 크다.