The Perception–Physics Paradox: Probing Scientific Alignment with TC-Bench

Motivation

• Known: VFM들은 위성 이미지 기반의 인식·검색·이해 과제에서 강력한 zero-shot 성능을 보이며, 이러한 성공은 과학 도메인으로의 확장 적용을 정당화하는 근거로 흔히 해석되어 왔다. Digital Typhoon과 같은 기존 열대성 저기압 데이터셋은 vision 기반 기상학 연구의 초기 벤치마크로 활용되어 왔다.
• Gap: 기존 평가는 평균적 성능이나 시각적 맥락(지역, 관측 기관 등)을 변화시키는 perception 기반 OOD 테스트에 주로 의존하는데, 이는 실제 물리적 자유도(예: 강도)를 충분히 교란하지 않아 모델이 실제로는 물리 변수를 구분하지 못함에도 견고한 것처럼 보이는 착시를 유발할 수 있다. 특히 온대저기압이 극단적 강도 영역(Pc<980 hPa)에 있을 때 시각적으로는 거의 동일해 보이지만 물리적으로는 큰 차이가 나는 상황에서 기존 벤치마크는 이러한 실패를 드러내지 못한다.
• Why: 과학 도메인에서 표현학습이 진정으로 물리적 구조를 반영하는지 여부는 기후재해 예측과 같은 고위험 응용에서 매우 중요하며, 겉으로 보기에 정확해 보이는 모델이 실제로는 잘못된 추론을 하고 있을 위험(Perception-Physics Paradox)을 밝히는 것은 과학적 AI 신뢰성 확보에 핵심적이다.
• Approach: 저자들은 latent representation이 물리 시스템을 선형 재매개변수화까지 유일하게 식별해야 한다는 Structural Isomorphism 개념을 정의하고, 이로부터 파생되는 필요조건들의 위계를 통해 체계적인 probing 프로토콜을 구성한다. 이를 실증하기 위해 전지구적·재현 가능한 열대성 저기압 데이터셋 TC-Bench와 자동 구축 파이프라인을 공개하고, 현재 VFM들이 극한 강도 영역에서 시각적 shortcut에 의존해 실패함을 보인다.

Achievement

Figure 2. Static Fidelity (Qstat) and Regime Degradation: Normalized absolute error (ξstat) of state estimation across d

1. Perception–Physics Paradox 정식화: 표현이 지각적으로는 일반화되면서도 과학적 추론에 필요한 물리적 자유도를 붕괴시킬 수 있다는 현상을 명명하고 개념화했다.
2. Scientific Alignment 및 Structural Isomorphism 프레임워크 제안: 물리 시스템을 선형 재매개변수화까지 식별해야 한다는 조건을 중심으로, 필요조건들의 위계와 이를 검증하는 falsifiable probing 프로토콜을 제시했다.
3. TC-Bench 데이터셋 공개: 다중 기관(agency) 메타데이터와 위성 관측을 통합한 최초의 버전 관리되고 재현 가능한 전지구 열대성 저기압 벤치마크와 자동 구축 파이프라인을 제공했다.
4. VFM들의 실패 실증: 표준 in-distribution 및 perception 기반 OOD 평가에서는 우수한 성능을 보이는 최신 VFM들이 물리적으로 극단적인 강도 영역에서 latent collapse를 일으켜 구조적 정렬에 실패함을 실험적으로 보였다.

How

Figure 2. Static Fidelity (Qstat) and Regime Degradation: Normalized absolute error (ξstat) of state estimation across d

• Structural Isomorphism을 latent representation이 물리 상태 변수(예: 최소 중심 기압, 최대 지속 풍속)를 선형 재매개변수화까지 식별하도록 요구하는 조건으로 정의(Defn. 2.3)
• 이 정의로부터 파생되는 필요조건들의 계층 구조를 구축하여 물리적·인과적 해석가능성에 대한 체계적 probing 프로토콜 설계
• 다중 기상 기관(atcf, bom, hurdat_atl, hurdat_epa, nadi, newdelhi, reunion, tokyo, wellington 등)의 메타데이터와 위성 이미지를 통합해 TC-Bench 구축, cross-agency held-out 평가를 통한 perception 기반 OOD 성능 측정
• 정적(static) 및 시간적(temporal) 지각 실패 사례 분석: 시각적으로 유사하지만 물리적으로 다른 강도의 사이클론, 그리고 실제 물리적 변화가 거의 없음에도 큰 예측 변화를 보이는 시간적 케이스 분석
• Static Fidelity(Q_stat) 등의 지표를 이용해 강도 영역별 표현 저하(regime degradation)를 정량화

Originality

• 기존의 perception 기반 OOD 일반화가 과학적 유효성의 대리지표로서 갖는 근본적 한계를 이론적으로 지적하고, 이를 "Perception-Physics Paradox"라는 새로운 개념으로 명명
• Structural Isomorphism이라는 선형 재매개변수화 기반의 원칙적이고 검증 가능한 정렬 조건을 제시하여, 기존의 disentanglement나 identifiability 논의를 과학적 표현학습 평가로 확장
• 열대성 저기압이라는 물리적으로 잘 정의된 상태 변수를 가지면서도 관측이 위성 이미지에 의존하는 독특한 도메인을 선택해, 시각적 상관관계와 물리적 불변량 사이의 간극을 실증적으로 드러내는 새로운 진단 벤치마크(TC-Bench) 제안

Limitation & Further Study

• 논문 발췌에는 probing 프로토콜의 구체적 수식과 필요조건 계층의 세부 정의, 그리고 정량적 실험 결과의 전체 내용이 충분히 제시되지 않아 방법론의 엄밀성을 완전히 평가하기 어려움
• 저자들 스스로 밝히듯 본 연구는 규범적(prescriptive)이 아닌 진단적(diagnostic) 목적에 한정되며, VFM이 원천적으로 물리 정렬 표현을 학습할 수 없다거나 비선형 probe·task-specific 훈련으로 해결 불가능하다는 주장은 하지 않음
• 열대성 저기압이라는 단일 도메인에 국한된 검증으로, 다른 과학 도메인(예: 의료 영상, 기후 변수 전반)에 대한 일반화 가능성은 후속 연구가 필요함
• 선형 재매개변수화라는 다소 제한적인 등가 조건이 실제 복잡한 물리 시스템의 비선형적 특성을 얼마나 포착할 수 있는지에 대한 추가 논의가 필요함

Evaluation

총평: Vision Foundation Model 평가에 있어 perception 기반 OOD 일반화가 과학적 정렬을 보장하지 않는다는 중요한 통찰을 명확한 개념(Perception-Physics Paradox)과 검증 가능한 프레임워크(Structural Isomorphism)로 정식화하고, 이를 실증할 수 있는 실질적인 벤치마크(TC-Bench)를 함께 제공한 점에서 이론과 실용성을 겸비한 우수한 연구이다.