SynerMedGen: Synergizing Medical Multimodal Understanding with Generation via Task Alignment

Motivation

• Known: 기존 unified 멀티모달 모델들(HealthGPT, UniMedVL 등)은 이해와 생성을 하나의 프레임워크에서 다루지만, 이해 학습은 generation task와 약하게만 관련된 proxy objective(예: VQA, report generation)로 수행되어 왔다.
• Gap: 이해 branch가 recognition 스타일 질문에는 강해지지만 정작 cross-modality synthesis처럼 세밀한 해부학적/병리적 내용 보존, modality 제약 준수, pixel-level 대응이 필요한 생성 과제에는 도움이 되지 않는 task misalignment 문제가 존재하며, 어떤 형태의 이해가 생성에 실질적으로 유익한지에 대한 규명이 부재하다.
• Why: 임상 영상 워크플로우는 CT, multi-sequence MRI, PET 등 이질적인 modality를 해석하고 변환해야 진단·치료계획·모니터링을 지원할 수 있으므로, 이해와 생성이 실제로 시너지를 내는 통합 의료 모델의 필요성이 크다.
• Approach: paired synthesis data로부터 직접 이해 과제를 도출하는 generation-aligned understanding 원칙을 제안하고, 이를 구현하는 SynerMedGen을 통해 이해 학습에서 얻은 생성에 유익한 표현을 two-stage training으로 생성 branch에 전이한다.

Achievement

1. Zero-shot 일반화: understanding training만으로도 22개 의료 영상 합성 task에서 강력한 zero-shot 성능과 견고한 일반화를 달성했다.
2. SOTA 능가: generation training과 결합했을 때, 기존 전문화된 의료 영상 합성 모델 및 최신 unified 의료 모델들을 일관되게 능가했다.
3. 대규모 데이터셋 공개: 1M paired synthesis sample과 2M understanding instance로 구성된 SynerMed 데이터셋을 공개하여 이해-생성 시너지 연구를 지원한다.

How

• Conditional Target Selection: 명시적 target-modality 요청 하에서 paired data 간 일대일 대응을 강제하는 task 설계
• Modality Identification: modality를 얽혀있는 단서가 아닌 명시적이고 학습 가능한 제어 요소로 만드는 task
• Transformation Instruction Alignment: paired 시각적 차이를 텍스트로 근거화하여 변경되어야 할 것(외형/대비)과 불변해야 할 것(구조/병변)을 명시하고 합성 방향의 모호성을 제거
• Two-stage training strategy: 1단계에서 세 가지 generation-aligned understanding task를 학습하여 생성에 유익한 표현을 얻고, 2단계에서 동일 paired data 상에서 latent-space conditional synthesis를 최적화하여 학습된 멀티모달 prior를 생성 branch로 전이

Originality

• 의료 unified MLLM에서 이해와 생성 간의 근본적인 task misalignment를 최초로 명시적으로 식별하고 문제화함
• 별도의 proxy objective가 아니라 생성용 paired 데이터로부터 직접 이해 task를 도출하는 generation-aligned understanding이라는 원칙을 제안, cross-modality synthesis에 특화된 세 가지 이해 task(Conditional Target Selection, Modality Identification, Transformation Instruction Alignment)를 설계
• 대규모 SynerMed 데이터셋(1M paired 샘플 + 2M understanding instance)을 공개하여 커뮤니티가 이해-생성 시너지를 연구할 수 있는 기반 마련

Limitation & Further Study

• cross-modality image synthesis라는 특정 generation task를 테스트베드로 삼아 원칙을 검증했으나, 텍스트 기반 report generation이나 자유형 이미지 생성 등 다른 유형의 의료 생성 task로의 일반화 가능성은 추가 검증이 필요함
• 세 가지 이해 task 설계가 paired cross-modality 데이터 구조에 의존적이어서, paired 데이터가 부족한 modality나 unpaired 생성 시나리오에는 적용이 제한적일 수 있음
• 두 단계 학습 전략의 계산 비용 및 실제 임상 배포 시의 안전성/신뢰성 검증에 대한 논의가 제한적임
• 향후 연구로는 report generation, 병변 검출 등 다른 이해-생성 task 쌍으로의 원칙 확장, unpaired/저자원 modality에 대한 적용 방안 모색이 필요함

Evaluation

총평: 이해와 생성 간의 시너지 부재라는 실질적인 문제를 명확히 짚어내고, paired 데이터 기반의 generation-aligned understanding이라는 간단하면서도 효과적인 원칙과 이를 뒷받침하는 대규모 데이터셋을 함께 제시한 점에서 의료 unified 멀티모달 모델링 연구에 실질적인 기여를 하는 논문이다.