EvoVLM: Multimodal Evolutionary Feedback for Visual Symbolic Regression

Motivation

• Known: 기존 symbolic regression은 PySR 같은 유전 프로그래밍 기반 수치 탐색 방법이 주류였고, 최근 LLM/VLM을 활용한 방법들은 명시적 텍스트 도메인 지식이나 물리적 맥락을 prior로 사용해 수식을 발견해왔다.
• Gap: 기존 LLM/VLM 기반 수식 발견 연구는 모델을 단일 단계 함수 근사기로 취급하고 합성·노이즈 없는 물리 방정식에서만 평가되어, 도메인 지식이 없거나 비정상적(non-stationary)인 실제 시계열에서는 구조적 환각(hallucination)이 심하게 발생하는 한계가 있다.
• Why: 도메인 사전 지식이 전혀 없는 상황에서도 그래프 이미지와 요약 통계만으로 VLM이 반복적 진화 연산자 역할을 수행해 설명 가능한 수식을 발견할 수 있다면, 저비용·소규모 오픈소스 모델로도 과학적 발견 파이프라인을 데이터 효율적으로 구축할 수 있다는 점에서 중요하다.
• Approach: PELT 기반 세그멘테이션으로 시계열을 국소적이고 균질한 구간으로 분할한 후, 각 구간에 대해 계층적 시각 힌트와 통계 텍스트를 결합한 멀티모달 프롬프트를 구성하고, sVLM이 텍스트 R2 지표와 시각적 overlay plot을 함께 참조하며 수식을 반복적으로 교배·돌연변이시키는 진화적 피드백 루프를 수행한다.

Achievement

Figure 5. Qualitative comparison of symbolic regression results.

1. 경쟁력 있는 성능: AirPassengers 등 복잡한 동역학을 가진 데이터셋에서 Auto-ARIMA와 PySR보다 높은 Best R2를 달성하며, 표준 시계열 데이터셋 전반에서 전통적 휴리스틱 방법과 경쟁력 있는 성능을 보였다.
2. 강건성 및 효율성: 단일 소비자급 GPU에서 오픈소스 sVLM만으로 다양한 비정상적 실제 시계열(Mauna Loa CO2, AirPassengers, Flight Delay)에 대해 β=0.1 고정 파라미터로도 물리적으로 타당한 추세를 안정적으로 추출했다.
3. 체계적 프롬프트 설계: 12가지 구성에 대한 광범위한 ablation을 통해 시각적 맥락과 명시적 통계 텍스트 프롬프트를 정렬시켜 수치적 환각(numerical hallucination)을 억제하는 전략을 검증했다.

How

Figure 4. The Proposed EvoVLM Framework. The pipeline consists of three main phases: (1) Initialization: A VLM generates

• PELT 기반 자동 세그멘테이션: RBF 비용 모델을 사용한 PELT 알고리즘으로 시계열의 평균·분산 변화 지점을 탐지해 구조적 변화점 기준으로 데이터를 국소적 구간으로 분할한다(수식 (1) 최소화).
• 계층적 시각 강화(Hierarchical Visual Enhancement): 원본 플롯에 통계 경계선(평균/최대/최소), 최대 국소 변동(Max Δ) 등 4단계 시각 힌트를 점진적으로 추가하여 sVLM의 시각 인코더 부담을 줄인다.
• 통계 기반 텍스트 가이드: Basic Stats(Mean, Median, Min, Max, Std)와 Advanced Stats(사분위수 등)를 텍스트 프롬프트에 주입하여 수식의 계수 스케일에 대한 수치적 경계를 제공, 형태는 맞지만 스케일을 잘못 해석하는 환각을 억제한다.
• Multimodal Evolutionary Feedback 루프: 각 세대에서 N=4개의 후보 수식에 대해 텍스트 R2 적합도를 평가하고 시각적 overlay plot을 생성한 뒤, 상위 K=2개 엘리트를 선택해 sVLM이 이를 시각·텍스트 피드백과 함께 교배·돌연변이시켜 다음 세대 수식을 생성한다(Algorithm 1).
• 세그먼트별 조각별 수식(piecewise equation) 결합: 각 세그먼트에서 최종 세대의 최적 수식을 선택해 전체 시계열에 대한 조각별 수식 집합을 구성한다.

Originality

• VLM을 단일 단계 함수 근사기가 아닌 반복적 진화 연산자(iterative evolutionary operator)로 재정의하여, 시각적 overlay plot을 통한 폐루프(closed-loop) 피드백으로 기하학적 불일치를 교정하는 새로운 관점을 제시한다.
• 원시 수치 배열 대신 그래프 이미지와 요약 통계를 VLM의 주 입력으로 사용하면서도 세그멘테이션과 적합도 평가에는 수치 배열을 유지하는 하이브리드 멀티모달 파이프라인을 설계했다.
• PELT 세그멘테이션과 sVLM 기반 symbolic regression을 결합하여 도메인 지식이 전혀 없는 상황에서도 동작하는 domain-agnostic 프레임워크를 제안한 점이 기존 도메인 prior 의존적 접근과 차별화된다.
• 계층적 시각 힌트(4단계)와 통계 텍스트 프롬프트를 체계적으로 조합한 12가지 ablation 설계를 통해 수치 환각 억제 메커니즘을 실증적으로 분석했다.

Limitation & Further Study

• 소규모 오픈소스 sVLM에 의존하기 때문에 더 복잡하거나 고차원적인 수식 구조에서는 여전히 환각이나 표현력 한계가 발생할 가능성이 있으며, 대형 proprietary VLM과의 비교가 부족하다.
• 세그멘테이션 파라미터(β=0.1)를 고정한 것이 강건성을 보여주지만, 세그먼트 경계에서의 수식 연속성(smoothness)이나 세그먼트 간 일관성 문제는 충분히 논의되지 않았다.
• 평가가 제한된 수의 표준 시계열 데이터셋(Mauna Loa, AirPassengers, Flight Delay)에 국한되어 있어 다양한 과학적 도메인(물리, 생물 등)으로의 일반화 검증이 추가로 필요하다.
• 진화 루프의 세대 수 T, 개체군 크기 N=4, 엘리트 K=2 등 하이퍼파라미터에 대한 민감도 분석이 부족하며, 계산 비용 대비 성능 트레이드오프에 대한 심층 분석이 후속 연구로 필요하다.

Evaluation

총평: VLM을 정적 함수 근사기가 아닌 시각적 진화 연산자로 재해석한 참신한 접근으로, 도메인 지식 없이도 실제 비정상 시계열에서 설명 가능한 수식을 발견할 수 있음을 보인 실용적이고 의미 있는 연구이나, 평가 범위와 대형 모델 대비 분석이 제한적이다.