/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/547_Mllm-based_discovery_of_intrinsic_coordinates_and_governing

Motivation

• Known: 기존 symbolic regression 연구는 저차원 물리 좌표가 이미 주어졌다고 가정하고 탐색 알고리즘(genetic programming, Bayesian optimization 등)의 효율성 향상에 집중해왔으며, physical coordinate 발견과 equation 발견을 동시에 수행하는 최근 연구들(SINDy 계열 등)도 방정식의 형태나 상태 차원에 대한 사전지식에 의존한다.
• Gap: 고차원 동역학계는 지수적으로 확장되는 symbolic 탐색 공간과 intrinsic coordinate 및 equation에 대한 명확한 정량 평가 기준 부재로 인해 Bayesian optimization 등 전통적 방법으로 탐색이 극히 어렵고, 좌표 발견과 방정식 추론을 분리하거나 사전지식(known dynamics, physics engine)에 의존하는 기존 방법은 낯선 시스템에 대한 일반화가 제한적이라는 연구 갭이 존재한다.
• Why: 고차원 데이터에서 물리 좌표와 지배방정식을 사전지식 없이 동시에 발견하는 능력은 미지의 과학 시스템에 대한 자동 과학적 발견(scientific discovery) 역량을 크게 확장시키며, MLLM의 시각 인식과 사전학습된 과학 지식을 결합해 사람이 하던 좌표계 설정과 방정식 유도 과정을 자동화할 수 있다는 점에서 중요하다.
• Approach: MLLM의 시각적 지각 능력을 강화하는 일련의 향상된 visual prompt(LocateTool 등)로 intrinsic physical coordinate를 발견하고, hypothesis-assessment-iteration 형태의 reasoning chain으로 MLLM의 사전학습된 과학 지식을 활용해 symbolic equation 탐색 공간을 효율적으로 navigate하는 zero-shot 방법을 제안한다.

Achievement

Reasoning results of pixel coordinate systems: blue line is ground truth; green and gray dashed lines are trajectories

1. VER 프레임워크 제안: 좌표 발견(coordinate discovery)과 방정식 추론(equation reasoning)을 하나의 Chain-of-Thought 파이프라인으로 통합한 최초의 MLLM 기반 고차원 데이터 equation discovery 프레임워크를 제시했다.
2. 시각 프롬프트 toolkit 설계: pixel coordinate 시스템(강체 이동 객체)과 latent coordinate 시스템(잠재 저차원 변수에 의한 주기적 진동 패턴)이라는 두 대표 시스템 유형에 대해 LocateTool 등 향상된 visual prompt/피드백 메커니즘을 설계해 MLLM의 공간 지각을 향상시켰다.
3. 방정식 추론 성능 개선: hypothesis-assessment-iteration reasoning chain과 symbolic library, 계수 최적화(coefficient optimization)를 결합해 기존 symbolic regression 방법 대비 장기 외삽(long-term extrapolation) 정확도를 평균 약 26.96% 개선했다.
4. 실제/시뮬레이션 데이터 검증: 시뮬레이션 데이터뿐 아니라 실제 실험 데이터에서도 물리 좌표와 지배방정식을 정성적·정량적으로 정확히 발견함을 입증했다.

How

Discovering physical coordinates

• 고차원 데이터를 pixel coordinate 시스템과 latent coordinate 시스템 두 유형으로 분류하고, 소수의 프레임을 샘플링해 MLLM이 유형을 판별하도록 하여 서로 다른 locating tool을 적용한다.
• Pixel coordinate 탐지: 언어 프롬프트 L과 비디오 프레임 I로 구성된 query q에 대해 frozen MLLM이 φ 역할을 수행하며, LocateTool이라는 visual prompting toolkit을 통해 객체의 궤적을 순차적으로 위치 지정(locating)하고, 문자열 추출기 e로 좌표 시퀀스 Z를 파싱한다. MLLM은 이전 메시지의 locating 출력을 이력으로 유지하며 각 query를 순회한다.
• Latent coordinate 시스템의 경우 Measure, Amplifier, Replayer 등 시각 인식 도구와 분산(variance) 피드백을 결합해 intrinsic dimension과 이동 객체 수를 판별한다.
• 방정식 추론 모듈에서는 poly-1/2/3, sin, cos, exp, log, sqrt 등을 포함한 symbolic library를 구성하고, MLLM이 hypothesis(가설)를 생성-평가-반복(iteration)하는 reasoning chain을 수행하며, 각 후보 equation은 length와 R2 metric으로 memory library에 기록되어 최종 계수 최적화(coefficient optimization)를 거쳐 최적 방정식 dz/dt = ĝ(z)를 도출한다.

Originality

• 물리 좌표 발견과 governing equation 추론을 사전지식 없이 zero-shot MLLM 하나의 통합 파이프라인으로 최초로 결합한 점이 독창적이다.
• 고차원 비디오 데이터에서 MLLM의 시공간 지각을 향상시키기 위한 전용 visual prompt toolkit(LocateTool, Measure, Amplifier, Replayer 등)을 설계한 점이 새롭다.
• 기존 genetic programming 기반 symbolic regression 탐색을 MLLM의 사전학습된 과학 지식을 활용한 hypothesis-assessment-iteration reasoning chain으로 대체/보강하여 탐색 효율을 높인 접근이 독창적이다.

Limitation & Further Study

• 평가가 두 가지 대표 유형의 동역학계(pixel/latent coordinate 시스템)에 한정되어 있어, 더 복잡하거나 고차원적인 실제 과학 시스템(예: 비주기적, 카오스적 시스템)에 대한 일반화 가능성이 추가 검증되어야 한다.
• MLLM의 zero-shot 추론에 의존하므로 특정 MLLM의 사전학습 지식 편향이나 hallucination이 좌표 발견 및 방정식 형태 선택에 영향을 줄 수 있으며, 이에 대한 강건성(robustness) 분석이 부족하다.
• symbolic library가 사전 정의된 기본 함수(poly, sin, cos, exp, log, sqrt)에 한정되어 있어 더 복잡한 비선형 항이나 미지의 함수 형태를 요구하는 시스템에는 확장이 필요하다.
• 후속 연구로 다양한 MLLM 백본에 대한 비교, 더 많은 실제 실험 데이터셋으로의 확장, 그리고 reasoning chain의 계산 비용/반복 횟수에 대한 효율성 분석이 필요하다.

Evaluation

총평: MLLM의 시각 지각과 사전학습 과학 지식을 결합해 고차원 데이터로부터 물리 좌표와 지배방정식을 zero-shot으로 동시에 발견하는 새로운 접근을 제시했으며, 두 대표 시스템에서 유의미한 성능 개선을 보였으나 더 다양한 실제 시스템으로의 일반화 검증이 추가로 필요하다.