Partially shared multi-modal embedding learns holistic representation of cell state (APOLLO)

Motivation

• Known: 다중모달 단일세포 데이터 측정 기술이 발전했으나, 기존 통합 방법들은 공유 정보와 모달리티별 고유 정보를 구분하지 못하거나 특정 모달리티에만 적용 가능하다는 한계가 있다.
• Gap: 기존 representation learning 방법들은 모든 모달리티의 정보를 합친 잠재공간을 학습하므로 어느 모달리티가 특정 표현형에 기여하는지 파악하기 어렵고, 서로 다른 특성의 모달리티(예: 이미징과 시퀀싱)를 효율적으로 통합하기 어렵다.
• Why: 정확한 공유·고유 정보 분리는 결측 모달리티 예측, 특정 표현형의 원인 규명, 세포 상태의 해석 가능한 이해를 가능하게 하여 생의학 연구의 정확성과 신뢰성을 높인다.
• Approach: APOLLO는 각 모달리티마다 하나의 오토인코더를 사용하고 부분적으로 겹치는 세 개의 잠재공간(공유, 모달리티1 고유, 모달리티2 고유)을 학습한다. 2단계 훈련 절차로 먼저 디코더를 최적화한 후 인코더를 학습하여 미측정 샘플에 대한 추론을 가능하게 한다.

Achievement

• 부분 정보 공유 학습: APOLLO는 공유 잠재공간과 모달리티별 고유 잠재공간을 명시적으로 분리하여 어느 정보가 공유되고 어느 정보가 고유한지 자동으로 식별한다.
• 교차 모달리티 예측: 공유 정보의 명시적 학습으로 SHARE-seq, CITE-seq 등에서 미측정 단백질 형광 이미지 예측과 같은 결측 모달리티 정보 복원이 가능하다.
• 해석 가능성: 학습된 공유 및 고유 잠재공간을 형태학적 특징이나 유전 경로로 해석 가능하게 하여 세포 상태에 대한 생물학적 인사이트를 제공한다.
• 광범위한 적용 가능성: SHARE-seq(scRNA-seq, scATAC-seq), CITE-seq(scRNA-seq, 단백질), 다중 이미징 데이터셋 등 다양한 데이터 타입에 적용 가능함을 실증한다.
• 단백질 국소화와 염색질 조직의 연결: Human Protein Atlas 다중 이미징 데이터에서 단백질 세포내 국소화 변동과 세포소기관 형태 사이의 관계를 발견한다.

How

Fig. 1 | Overview of APOLLO for partially shared multi-modal embeddings

• 각 모달리티 j에 대해 인코더 Ej와 디코더 Dj를 정의하며, 공유 잠재 변수 H_shared와 모달리티별 고유 변수 H_j로 구성된 부분 겹침 잠재공간 설계
• Step 1: Latent Optimization - 모든 모달리티의 디코더를 고정하고 잠재 변수를 최적화하여 각 모달리티의 데이터 재구성 손실 최소화
• Step 2: Inference - 훈련되지 않은 세포에 대해 잠재공간 임베딩을 추론하기 위해 모달리티별 인코더 학습
• 재구성 손실과 정규화 항으로 구성된 목적함수로 공유 정보는 최대화하고 고유 정보는 적절히 분리하도록 유도
• 비가우스성(non-Gaussianity) 가정 등 추가 가정 하에서 공유·고유 정보의 식별 가능성(identifiability) 보장

Originality

• 기존 방법과 달리 공유 정보와 모달리티별 고유 정보를 명시적으로 분리하는 부분 겹침 잠재공간 구조로 해석 가능성과 식별성을 동시에 확보
• 2단계 훈련 절차(Latent Optimization → Encoder Inference)로 잠재공간 학습과 일반화 능력을 분리하는 새로운 훈련 패러다임 제시
• 선형 모델의 이론적 식별 가능성 결과를 비선형 신경망 모델로 확장하는 실용적 접근
• 이미징과 시퀀싱 같이 본질적으로 다른 모달리티를 통합하는 일반적 프레임워크로 기존 방법의 적용 범위 확대

Limitation & Further Study

• 식별성 가정: 일반적인 비선형 신경망 디코더에서 공유·고유 정보의 엄밀한 식별 가능성 증명이 부족하며, 실제로 학습된 분리가 참 구조를 반영하는지 보장하기 어려움
• 계산 비용: 다중모달 데이터의 차원이 높을수록 Latent Optimization 단계의 수렴 시간과 안정성 문제가 발생할 수 있음
• 모달리티 수 확장: 3개 이상의 모달리티(J > 2)로 확장할 경우 공유 정보 정의(∩ 모든 모달리티)의 모호성과 계산 복잡도 증가
• 하이퍼파라미터 민감성: 공유·고유 정보의 분리 정도를 조절하는 가중치 선택이 결과에 미치는 영향에 대한 체계적 분석 필요
• 후속 연구: 식별성 조건을 더 엄밀히 규명하고, 모달리티 간 시간적 역학이 있는 동적 데이터로 확장하며, 3개 이상 모달리티 통합 알고리즘 개발 필요

Evaluation

총평: APOLLO는 다중모달 단일세포 데이터 통합 분야에서 공유·고유 정보의 명시적 분리라는 중요한 문제를 해결하는 우수한 프레임워크이며, SHARE-seq, CITE-seq, 다중 이미징 등 다양한 응용에서 뛰어난 성능과 생물학적 해석 가능성을 보여준다.