Local Intrinsic Dimension of Representations Predicts Alignment and Generalization in AI Models and Human Brain

Motivation

• Known: 기존 연구는 더 나은 일반화 성능을 갖는 모델일수록 서로 다른 아키텍처와 학습 방식에도 불구하고 representation이 서로 유사해진다는 것(Platonic Representation Hypothesis)과, 별개로 foundation model의 representation이 인간 뇌 신경 활동(fMRI 등)과 잘 정렬된다는 것을 각각 보여왔다. 또한 intrinsic dimension이 낮을수록 일반화 성능이 좋아진다는 연구도 존재했다.
• Gap: 기존 AI-AI alignment 연구와 AI-Brain alignment 연구는 서로 다른 모델군, 데이터셋, alignment metric을 사용해 왔기 때문에 이 두 현상이 동일한 근본 원리를 반영하는지 검증되지 않았으며, generalization-alignment 관계를 설명하는 기하학적 요인(특히 local vs global intrinsic dimension)에 대한 통합적 분석이 부재했다.
• Why: 이 연구는 generalization, model-model alignment, model-brain alignment가 우연적 부산물이 아니라 표현 기하학의 공통 구조(local intrinsic dimension)에서 비롯된다는 통합적 설명을 제공하여, Platonic Representation Hypothesis에 구체적이고 측정 가능한 기하학적 근거를 부여하고, 왜 모델 스케일 확장이 일반화와 정렬을 동시에 향상시키는지에 대한 설명을 제공하기 때문에 중요하다.
• Approach: 대규모 비전 모델군과 인간 fMRI 데이터(Natural Scenes Dataset)를 동일한 프로토콜 하에서 공동 분석하여 generalization, AI-AI alignment, AI-Brain alignment 간의 관계를 조사하고, 이를 embedding의 local intrinsic dimension이라는 단일 기하학적 지표로 설명한다.

Achievement

Figure 2. Representational convergence links AI–Brain alignment, inter-model alignment, and generalization. (A) Whole-br

1. 통합 프레임워크 제시: AI-AI alignment, AI-Brain alignment, generalization을 하나의 실험 프레임워크에서 공동 분석하여 세 지표가 모델 전반에서 체계적으로 공변함을 최초로 보였다.
2. 기하학적 서술자 발견: multi-scale 분석을 통해 fixed-scale 추정에 의존한 기존 연구와 달리, local intrinsic dimension이 이러한 수렴 현상의 핵심 기하학적 상관 변수임을 규명했다. 반면 global dimension 지표는 이 효과를 포착하지 못했다.
3. 스케일링의 기하학적 설명: 모델 capacity와 학습 데이터 규모를 늘리면 local intrinsic dimension이 체계적으로 감소함을 보여, 대규모 foundation model이 더 잘 일반화하고 다른 모델·뇌와 더 잘 정렬되는 이유에 대한 기하학적 근거를 제시했다.

How

Figure 3. Intrinsic dimension and representational convergence.

• Natural Scenes Dataset(NSD)의 8명 참가자 7T fMRI 데이터와 자연 이미지(대부분 Microsoft COCO 기반)를 사용해 시각 피질 신경 반응과 다양한 비전 모델의 embedding을 비교
• 동일 이미지 세트에 대해 여러 아키텍처/학습 패러다임의 모델로부터 embedding을 추출하여 AI-Brain alignment(모델-신경활동 정렬)와 AI-AI alignment(모델 간 표현 유사도)를 공통 프로토콜로 측정
• 각 모델의 generalization 성능(예: downstream task 성능)을 alignment 지표들과 함께 상관 분석
• neighborhood 기반 intrinsic dimension estimator를 사용해 다양한 spatial scale(로컬~글로벌)에서 embedding의 intrinsic dimension을 추정하고, 이를 generalization·AI-AI alignment·AI-Brain alignment와 비교하는 multi-scale 분석 수행
• 모델 capacity(모델 크기)와 training data scale을 변화시키며 local intrinsic dimension의 변화 추이를 분석

Originality

• generalization, AI-AI alignment, AI-Brain alignment를 별개로 다루던 기존 연구들을 하나의 통합된 실험 설계로 묶어 세 현상 간 상관관계를 직접 검증한 최초의 시도
• intrinsic dimension을 global 측도가 아니라 local(미세 이웃 단위) 측도로 다중 스케일 분석하여, 기존 Ansuini et al.(2019)의 fixed-scale 접근과 차별화되는 새로운 발견(로컬 차원이 핵심 변수라는 것)을 제시
• Platonic Representation Hypothesis에 대한 기하학적, 정량적 해석을 부여하고 이를 모델 스케일링과 연결지은 점

Limitation & Further Study

• 분석이 비전 모델과 시각 자극에 대한 fMRI(NSD)에 국한되어 있어, 언어·오디오 등 다른 모달리티나 다른 뇌 영역/측정 방식(EEG, MEG 등)으로 결과가 일반화되는지는 추후 검증이 필요함
• 상관관계 분석에 기반하고 있어 local intrinsic dimension이 alignment와 generalization의 인과적 원인인지, 혹은 공통 상위 요인의 결과인지는 명확히 규명되지 않음
• intrinsic dimension estimator의 선택(이웃 크기, 알고리즘)에 따른 민감도 및 강건성에 대한 추가 검증이 필요할 수 있음
• 향후 연구에서는 다양한 모달리티, 더 넓은 뇌 영역, 그리고 개입 실험(intervention)을 통한 인과관계 검증이 필요함

Evaluation

총평: generalization, AI-AI alignment, AI-Brain alignment라는 세 가지 흩어져 있던 현상을 local intrinsic dimension이라는 단일 기하학적 지표로 통합해 설명한 참신하고 의미 있는 연구이며, Platonic Representation Hypothesis에 구체적 기하학적 근거를 제공한다는 점에서 neuro-AI 및 표현학습 분야에 중요한 기여를 한다.