Influence-Guided Symbolic Regression: Scientific Discovery via LLM-Driven Equation Search with Granular Feedback

Motivation

• Known: 기존 LLM 기반 symbolic regression(e.g., LLM-SR, D3)은 LLM의 pre-trained 지식을 활용해 후보 방정식을 제안하지만, 전역 scalar metric(e.g., global MSE)만으로 피드백을 제공하여 어떤 항이 성능에 기여하거나 저하시키는지 알 수 없다.
• Gap: coarse global loss 신호로는 개별 항 단위의 credit assignment가 불가능해 탐색이 비효율적인 trial-and-error에 의존하게 되며, 생성(diverse hypothesis 제안)과 선택(valid component 검증)이 분리되지 않아 discovery 과정이 LLM의 generative prior에 과도하게 의존한다는 근본적 한계가 있다.
• Why: DNA methylation과 RNA Polymerase II pausing 간의 새로운 관계처럼 실제 wet-lab 실험으로 검증 가능한 과학적 가설을 LLM 기반 탐색이 발견할 수 있음을 보여줌으로써, symbolic regression을 실제 과학적 발견 도구로 자리매김시키는 데 중요한 의미가 있다.
• Approach: LLM이 제안한 후보 항들을 선형모델에 통합해 OLS로 적합시키고, 각 항을 제거했을 때(no-refit) validation 성능 변화로 계산되는 influence score Δj에 기반해 상위 K개 항만 남기는 deterministic pruning을 수행하며, 이 propose-fit-score-prune 사이클을 MCTS로 감싸 exploration과 exploitation의 균형을 맞춘다.

Achievement

Figure 2. Influence Feedback Improves Convergence. Best test

1. Influence 기반 세밀한 credit assignment 도입: 전역 scalar loss 대신 항별 marginal contribution(Δj)을 계산해 어떤 항이 성능을 이끄는지 정량적으로 구분함으로써 탐색 효율을 근본적으로 개선.
2. MCTS 통합을 통한 조합적 탐색: propose-and-prune 사이클을 MCTS에 결합해 국소 최적점(local optima)에 빠지지 않고 다양한 함수 형태를 체계적으로 탐색.
3. 다양한 벤치마크에서 경험적 검증: LLM-SRBench, 약동학(PKPD) 모델, 역학 시뮬레이션, 6개의 생물학/임상 데이터셋에서 평균적으로 기존 baseline을 능가함을 입증.
4. 실제 과학적 발견 사례: 고차원 유전체 데이터를 활용한 사례 연구에서 DNA methylation과 RNA Polymerase II pausing 사이의 새로운 관계를 발견했고, 이 가설이 후속 wet-lab 실험으로 지지됨을 확인.

How

Figure 1. Conceptual overview of the Influence-Guided Symbolic Regression (IGSR) framework. The system operates via a Pr

• Propose: LLM이 task context와 이전 라운드에서 유지/제거된 항들의 history를 조건으로 하여 약 5개(첫 라운드는 10개)의 후보 basis function ψj를 제안.
• Fit: 현재 후보 항들에 대해 OLS 선형모델 f(x)=Σ wj ψj(x)을 적합.
• Score: 각 항의 weight를 0으로 설정(no-refit)하고 다른 weight는 고정한 채 validation set에서 영향을 측정하여 per-term influence Δj를 계산.
• Prune: Δj 기준 상위 K(=6)개 항만 유지 (multi-output의 경우 출력별 최대값으로 순위화).
• Search: negative validation MSE를 즉각 보상으로 사용하는 MCTS(예산 30 expansion, node당 5 successor)로 탐색을 진행하며, 필요시 IGSR-Agent 변형(두 번째 LLM이 score를 해석해 semantic pruning 결정)도 지원.

Originality

• 기존 LLM 기반 symbolic regression이 global scalar loss(MSE, code error 등)에 의존하는 것과 달리, 항 단위의 marginal contribution을 정량화하는 influence score를 최초로 도입해 생성과 선택 과정을 명시적으로 분리.
• 이는 Automated Feature Engineering(AFE)이 downstream black-box model을 위한 feature augmentation에 그치는 것과 달리, 전역적으로 해석 가능한 sparse linear equation을 직접 목표로 한다는 점에서 차별화됨.
• LLM의 창의적 생성(term proposal)과 데이터 기반의 엄밀한 통계적 선택(pruning)을 decoupling하는 propose-and-prune 사이클을 MCTS에 결합한 architectural 설계가 독창적.

Limitation & Further Study

• deterministic pruning은 강건하지만 top-K 개수(K=6) 등 hyperparameter 선택에 대한 민감도 분석이나 이론적 정당화가 충분히 제시되지 않을 수 있음.
• influence score 계산이 no-refit(다른 weight 고정) 방식에 의존하는데, 항 간 강한 상관관계(collinearity)가 존재할 경우 marginal contribution 추정이 왜곡될 가능성이 있어 이에 대한 추가 검증이 필요.
• MCTS의 계산 비용(예산 30 expansion, 5 successor 등)이 고차원 문제나 매우 복잡한 방정식 탐색에서 어떻게 확장되는지에 대한 심층적 분석이 추가로 요구됨.
• IGSR-Agent 변형과 deterministic 버전 간의 trade-off(해석 가능성 vs. hallucination 위험)에 대한 더 폭넓은 실증 비교가 필요.

Evaluation

총평: LLM 기반 symbolic regression에 세밀한 influence 기반 피드백을 도입하고 이를 실제 wet-lab 검증까지 이어지는 과학적 발견 사례로 입증한 점에서 방법론적으로나 실용적으로 의미 있는 기여를 한 연구다.