Contrastive Symbolic Regression: Aligned Representations, Adaptive Prediction, and Diverse Ensembles

Motivation

• Known: 기존 symbolic regression은 GP나 강화학습, foundation model 등을 통해 입력-출력 간 명시적 매핑 f: X→y를 학습하는 데 초점을 맞추어 왔으며, feature-construction 기반 SR은 진화적으로 구성한 특징을 선형회귀 등 downstream learner에 basis function으로 활용해왔다.
• Gap: 기존 접근법들은 데이터 인스턴스 간 관계 구조(relational structure)를 무시하여 국소적 패턴(local pattern) 및 비모수적 변동(non-parametric variation)을 포착하기 어렵고, contrastive learning을 feature-construction 기반 symbolic regression에 통합하는 시도는 연속적인 target 값을 다루는 회귀 상황에서 아직 탐구되지 않았다.
• Why: 기하학적 거리와 target 유사도를 정렬한 표현 공간은 KNN과 같은 distance-based 방법의 성능을 높이는 동시에, 유사한 과거 사례를 근거로 예측을 설명할 수 있는 사례 기반 해석 가능성(instance-level interpretability)을 제공하여 대출 승인과 같이 설명 가능성이 중요한 응용에 유용하다.
• Approach: GP 기반 진화적 feature construction과 contrastive learning의 닫힌 형태(closed-form) 선형 변환을 결합하여 target-aligned 표현 공간을 만들고, 이를 적응형 KNN 회귀와 DPP 기반 앙상블 선택과 함께 사용하는 CSR 프레임워크를 제안한다.

Achievement

Figure 4. R2 scores, model sizes, and training times of 27 symbolic regression and machine learning algorithms across 58

1. 닫힌 형태 contrastive 변환: GP로 구성된 feature를 target 공간의 구조를 반영하는 공간으로 사상하는 contrastive 변환 행렬 W에 대해 gradient 기반 최적화 없이도 계산 가능한 closed-form solution을 유도했다.
2. 효율적인 적응형 KNN 평가 프레임워크: 표준 LOOCV의 계산 비용 문제를 해결하고 이웃 크기 K를 적응적으로 선택하는 효율적 LOOCV 방법과, 진화 과정에서 표현 품질을 더 충실히 평가하는 linear-rank weighted KNN 변형을 개발했다.
3. DPP 기반 앙상블 선택: 모델 품질과 다양성을 함께 고려하여 GP 기반 symbolic regression의 높은 분산 문제를 완화하고 강건한 앙상블 모델을 구성하는 determinantal point process 기반 메커니즘을 도입했다.
4. 광범위한 실증 검증: 58개의 실세계 회귀 데이터셋에 대한 실험에서 CSR이 전통적 symbolic regression 및 현대 머신러닝 방법들을 일관되게 능가함을 보였다.

How

Figure 2. Workflow of Contrastive Symbolic Regression.

• 희소 신경망 기반 및 전통적 GP 방법으로 심볼릭 트리 집단(population)을 초기화한다.
• 해 평가 과정에서 GP feature construction을 통해 특징을 생성한 뒤, contrastive learning을 통해 이를 target-aligned 공간으로 변환한다 (Section 3.2의 closed-form 최적화 사용).
• 변환된 특징을 boosting 방식의 base learner에 입력하여, ridge regression이 전역적 선형 추세를 포착하고 KNN이 국소적 잔차 패턴을 모델링하여 예측 오차를 구한다.
• double lexicase selection으로 부모를 선택해 간결한 표현식을 유도하고, 무작위 서브트리 교차와 돌연변이로 자손을 생성한다.
• DPP 기반 앙상블 선택으로 품질과 다양성을 모두 고려한 개체 아카이브를 유지하여 강건한 앙상블 예측을 수행한다.
• KNN 평가를 위해 효율적 LOOCV로 이웃 크기 K를 적응적으로 선택하고, linear-rank weighted KNN으로 표현 품질을 평가한다.

Originality

• feature-construction 기반 symbolic regression에 contrastive learning을 최초로 통합하여, 연속적 target 값에 대해 거리 기반 정렬을 수행하는 아이디어가 독창적이다.
• gradient 기반 최적화 대신 contrastive 변환에 대한 closed-form solution을 유도하여 진화 알고리즘 내 계산 효율성을 확보한 점이 새롭다.
• 표준 LOOCV의 계산 비용 문제를 해결하는 효율적 변형과 linear-rank weighted KNN을 결합해 진화 중 표현 품질 평가의 신뢰성을 높인 방법론적 기여가 있다.
• 모델 품질과 다양성을 동시에 고려하는 DPP 기반 앙상블 선택을 GP 기반 symbolic regression의 고분산 문제 해결에 적용한 것이 독창적이다.

Limitation & Further Study

• 발췌된 본문에서는 ridge regression과 KNN을 결합한 boosting 구조나 DPP 앙상블의 계산 복잡도, 초매개변수 민감도에 대한 심층 논의가 부족해 실제 대규모 데이터셋 확장성에 대한 우려가 남는다.
• contrastive objective의 이론적 보장(예: 표현 공간의 최적성, 수렴성)에 대한 분석이 제한적일 수 있어 후속 연구에서 이론적 분석을 보강할 필요가 있다.
• 58개 실세계 데이터셋으로 검증했으나, 고차원 또는 매우 노이즈가 많은 데이터셋에서의 강건성 검증이 추가로 필요하다.
• 해석 가능성을 강조하지만 boosting 구조(ridge + KNN)와 DPP 앙상블 결합으로 인해 최종 모델의 해석 가능성이 순수 symbolic expression보다 떨어질 수 있어, 해석 가능성과 성능 간 트레이드오프에 대한 정량적 분석이 후속 연구로 필요하다.

Evaluation

총평: contrastive learning과 진화적 feature construction을 결합해 target-aligned 표현 공간을 구축하는 참신한 아이디어를 closed-form 해와 효율적 평가 기법으로 실현했으며, 광범위한 실험을 통해 실용성을 입증한 견고한 연구이다.