Deep Learning for BioImaging: What Are We Really Learning?

Motivation

• Known: Natural image 도메인에서는 representation learning이 고수준의 의미론적 특징을 안정적으로 학습한다는 것이 잘 알려져 있으며, 이를 기반으로 microscopy 분야에서도 Cell Painting 및 histology 데이터를 활용한 대규모 foundation model(MAE-G/8, MAE-L/8, OpenPhenom 등)이 다양한 다운스트림 생물학적 과제에 전이될 수 있다는 기대와 함께 여러 벤치마크(RxRx1, JUMP-CP, CAMELYON16, PANDA 등)가 구축되어 왔다.
• Gap: 그러나 microscopy 벤치마크가 실제로 모델이 생물학적으로 의미 있는 고수준 추상화를 학습했는지를 신뢰성 있게 측정하는지는 검증되지 않았으며, transcriptomics 분야에서처럼 confounding structure나 데이터셋 특유의 shortcut이 벤치마크 점수를 부풀릴 가능성이 microscopy에서도 존재하는지에 대한 체계적 분석이 부족했다.
• Why: 만약 현재의 벤치마크 지표가 진짜 생물학적 표현 학습과 architecture의 inductive bias나 약한 pixel correlation을 구분하지 못한다면, foundation model의 발전 방향과 자원 투자 전략이 잘못된 신호에 근거하게 되므로, 벤치마크의 판별력을 검증하는 것은 bioimaging 분야의 대규모 모델 개발 전략에 근본적으로 중요하다.
• Approach: 저자들은 untrained 모델(무작위 초기화 네트워크의 후처리된 특징)과 조직의 세포 공간 배열만을 표현하는 disentangled structural representation을 단순하지만 통찰력 있는 baseline으로 도입하여, 널리 쓰이는 microscopy foundation model들과 curated cell-culture 및 tissue 벤치마크 상에서 ImageNet-1k를 기준 삼아 비교 분석한다.

Achievement

Figure 5. Mean average precision (mAP) per compound on the JUMP-CP benchmark. Bar plots show mAP scores for eight

1. 베이스라인의 예상 밖 경쟁력: untrained 모델과 구조 전용 tissue representation이 상당수 평가 설정에서 state-of-the-art foundation model과 비교할 만한 성능을 보여, 다수의 벤치마크 지표가 표현 품질을 제대로 변별하지 못함을 입증했다.
2. layer-wise 분석을 통한 진단: 여러 모델의 layer별 표현 품질 변화를 분석해 고수준의 생물학적으로 의미 있는 추상화가 일관되게 형성되지 않는다는 문제를 제기했다.
3. 구조 정보만의 유용성과 한계 규명: 조직의 세포 공간 배열만 반영한 구조 전용 표현이 강력하지만 불완전한 서브모달리티임을 보여, 향후 원리에 기반한 tissue representation 개발의 필요성을 제시했다.

How

Figure 4. Layer-wise evolution of representation quality across

• Untrained baseline: 무작위 초기화된 네트워크에서 추출한 특징을 post-processing하여 architectural inductive bias와 pixel correlation만으로 얻을 수 있는 성능 수준을 측정
• Disentangled tissue structure baseline: histology 이미지를 세포의 공간적 배치(structural organization)만으로 표현하여 형태학적 정보 이외의 신호를 분리
• MAE-G/8, MAE-L/8, OpenPhenom 등 널리 쓰이는 phenomics foundation model들과 ImageNet-1k 사전학습 모델을 cell-culture(JUMP-CP 등) 및 tissue(CAMELYON16, PANDA 등) 벤치마크에서 baseline과 직접 비교
• 모델 layer별 표현의 mAP, Spearman ranking correlation(유전자-유전자 순위 상관) 등 다양한 지표로 세밀하게 성능 비교하여 강점과 약점을 해석

Originality

• 기존 연구들이 confounding structure 자체에 초점을 맞춘 것과 달리, 벤치마크의 판별력(discriminative capability)을 baseline과의 비교를 통해 간접적으로 검증하는 새로운 분석 프레임을 제시
• transcriptomics 분야에서 관찰된 "단순 baseline이 대형 모델을 능가"하는 현상을 microscopy 영역, 특히 cell culture와 tissue라는 두 가지 핵심 생물학적 스케일에 걸쳐 체계적으로 재현·검증
• untrained 모델과 구조 전용 tissue representation이라는, 생물학적으로 무의미하거나 극도로 ablate된 정보만을 가진 baseline을 설계하여 벤치마크의 한계를 드러내는 진단 도구로 활용

Limitation & Further Study

• 본 연구는 특정 curated benchmark와 특정 foundation model(MAE-G/8, MAE-L/8, OpenPhenom 등)에 국한되어 있어, 다른 모달리티(예: live-cell imaging, 3D 영상)나 신규 아키텍처로의 일반화 가능성은 추가 검증이 필요함
• 벤치마크의 한계를 드러내는 데는 성공했으나, 이를 개선할 구체적인 새로운 벤치마크나 지표 설계는 후속 연구 과제로 남겨짐
• 구조 전용 tissue representation이 강력하지만 불완전하다는 결론에 그쳐, 형태학적 정보와 구조적 정보를 통합한 원리적 tissue representation 개발이 향후 과제로 제안됨
• Conflict of interest로 언급된 Valence Labs/Recursion 소속 저자와 해당 모델(MAE-G/8, MAE-L/8, OpenPhenom) 평가 간의 잠재적 편향 가능성에 유의할 필요가 있음

Evaluation

총평: microscopy representation learning 분야에서 벤치마크 자체의 신뢰성 문제를 실증적으로 드러낸 시의적절하고 중요한 연구로, 향후 foundation model 평가 방법론 개선에 실질적인 방향을 제시한다.