Do Neural Operators Forget Geometry? The Forgetting Hypothesis in Deep Operator Learning

Motivation

• Known: Neural operator(FNO, Transformer 기반 operator 등)는 구조화된 격자(structured grid)에서 우수한 성능을 보이며, irregular geometry에 대응하기 위한 기존 연구는 주로 coordinate transformation, graph-based operator, geometry-aware token 인코딩 등 입력 단계의 geometry encoding 전략에 집중해왔다.
• Gap: 기존 연구들은 hidden layer에 geometry 정보를 반복적으로 conditioning하는 것이 경험적으로 도움이 된다는 것은 알고 있었지만, 왜 이러한 반복적 geometry conditioning이 구조적으로 필요한지, 그리고 깊이가 깊어짐에 따라 geometry 정보가 실제로 어떻게 되는지는 규명되지 않았다.
• Why: 이 연구는 irregular geometry에 대한 neural operator의 실패가 단순한 인코딩 문제가 아니라 architecture 자체에 내재한 depth-wise 구조적 결함임을 정보이론적으로 규명함으로써, geometry conditioning을 설계 선택이 아닌 필수 구조적 요건으로 재정의하고 향후 architecture 설계 방향에 근본적 지침을 제공한다.
• Approach: Operator layer들의 hidden state를 Data Processing Inequality가 적용되는 Markov chain(G→V1→...→VL)으로 정식화하여 global mixing 메커니즘이 depth에 따라 geometric information을 필연적으로 감소시킴을 증명하고, layer-wise geometric probing과 spectral analysis로 이를 실증한 뒤, 중간 layer에 geometry를 재주입하는 Geometry Memory Injection으로 대응한다.

Achievement

Figure 2. Impact of Memory Injection (LDC-NSHT). Without memory, FNO loses flow dynamics and Transolver ignores the obst

1. Geometric Forgetting Hypothesis 정식화: neural operator layer의 Markovian 구조와 global mixing(FFT, self-attention)으로 인해 geometric information이 depth에 따라 정보이론적으로 필연적으로 손실됨을 증명. 2. 실증적 검증: layer-wise geometric probing과 spectral frequency analysis를 통해 spectral 기반(FNO)과 attention 기반(Transformer) operator 모두에서 체계적인 geometric fidelity 손실을 확인하고, 이것이 정확도·안정성·일반화를 저하시킴을 보임. 3. Geometry Memory Injection 제안: 최소한의 architectural overhead로 중간 depth에서 geometric constraint를 복원하는 경량 메커니즘을 도입하여 forgetting을 완화. 4. Geometric Shortcut 발견: late geometry injection 시 Transformer 기반 operator에서 optimizer가 backbone을 우회하여 feature collapse를 일으키는 불안정성을 발견하고, early geometric integration이 구조적 필수사항임을 규명. 5. LNO를 통한 통제 연구: Laplace Neural Operator를 활용해 intrinsic geometric memory와 extrinsic geometric memory를 구분.

How

Figure 3. Validation of the Forgetting Hypotheses (LDC-NSHT).

• 물리 도메인 D를 random compact subset으로, PDE 해를 매핑하는 solution operator Ψ:A×D→U로 정식화
• Geometry encoding GD(indicator mask, signed distance field, coordinate embedding의 concatenation)를 정의
• Hidden state 시퀀스 {Vl}를 Markov chain G→V1→...→VL로 모델링하고 Data Processing Inequality를 적용해 depth 증가에 따른 mutual information 비증가를 이론적으로 증명
• FFT 기반(FNO) 및 self-attention 기반(Transformer) operator에 대해 layer-wise geometric probing으로 각 layer의 geometry 복원 가능성을 정량화
• LDC-NSHT(Lid-Driven Cavity Navier-Stokes) 데이터셋에서 spectral frequency analysis를 수행해 고주파 geometric 정보의 감쇠 확인
• Geometry Memory Injection: Vl+1 = Ml(Ol(Vl), G) 형태로 중간 layer에 geometry를 재주입하여 Markov 구조를 깨뜨림
• Laplace Neural Operator(LNO)를 이용한 control study로 intrinsic/extrinsic geometric memory 구분
• injection depth(All/Early/Late)에 따른 Transformer operator의 Geometric Shortcut 불안정성 분석

Originality

• Geometry encoding이 아닌 geometry retention(정보 보존)이라는 새로운 관점에서 neural operator의 한계를 재조명
• Information theory(Data Processing Inequality, Markov chain)를 이용해 operator architecture의 depth-wise 실패를 최초로 정식화하고 이름 붙임(Geometric Forgetting Hypothesis)
• Spectral(FNO)과 attention 기반(Transformer) operator라는 서로 다른 architecture family를 아우르는 통합적 실패 모드를 제시
• Geometric Shortcut이라는 Transformer operator 특유의 optimization pathology를 발견해 late injection의 위험성을 규명
• Architecture-agnostic하면서도 경량인 개입 방법(Geometry Memory Injection)을 제안하여 이론과 실용적 해법을 동시에 제공

Limitation & Further Study

• 이론적 증명이 Data Processing Inequality라는 정보이론적 상한(bound)에 의존하는데, 이는 필요조건이지 실제 학습된 네트워크가 항상 이 bound에 근접함을 보장하지 않아 실증 실험의 일반성 검증이 추가로 필요함
• 실험이 주로 LDC-NSHT와 같은 특정 유체역학 benchmark에 국한되어 있어, 더 다양한 PDE 문제(예: elasticity, 전자기학 등)와 3D 복잡 geometry에 대한 검증이 부족함
• Geometry Memory Injection의 최적 injection depth/frequency 선택에 대한 체계적 가이드라인이 부족하며, 이는 architecture 및 task마다 empirical tuning이 필요할 가능성이 있음
• Geometric Shortcut 현상에 대한 완전한 이론적 설명(왜 optimizer가 backbone을 우회하는지)이 아직 부족하며, 이에 대한 후속 이론 연구가 필요함

Evaluation

총평: Neural operator의 irregular geometry 실패를 encoding 문제가 아닌 depth-wise 정보 손실이라는 구조적 문제로 재정의한 참신하고 이론적으로 탄탄한 연구이며, Geometry Memory Injection이라는 실용적 해법과 Geometric Shortcut이라는 흥미로운 부가 발견까지 제시해 완성도가 높다.