ScoreStop: Gradient-based early stopping using functional score tests

Motivation

• Known: gradient boosted decision trees의 표준 early stopping은 validation loss를 모니터링하며 patience 기간 동안 개선이 없으면 멈추는 방식이며, Mahsereci et al. (2017)은 training-sample gradient의 평균과 분산을 비교하는 휴리스틱 임계값 방법을 제안한 바 있다.
• Gap: patience 파라미터는 해석 가능한 스케일이 없고 데이터셋, 표본 크기, loss metric에 따라 다르게 작동하며, LambdaRank와 같은 implicit loss나 Cox regression과 같은 data-dependent loss에서는 validation loss 평가 자체가 nuisance function 추정으로 인한 편향 문제를 일으킨다.
• Why: 기존 loss-based stopping의 해석 불가능한 하이퍼파라미터 문제와 implicit/data-dependent loss에서의 편향 문제를 동시에 해결하는 통계적으로 원칙에 기반한(hypothesis test 기반) early stopping 규칙은 gradient boosting의 실용성과 신뢰성을 높이는 데 중요하다.
• Approach: Hudson et al. (2026)의 functional score test 프레임워크를 활용하여, boosting의 base learner가 제공하는 최적 방향(Cauchy–Schwarz 의미에서)에서 Gateaux derivative를 평가하고 이를 분석적으로 chi-squared 분포로 보정한 scale-invariant 검정통계량 Tn을 제안한다.

Achievement

Figure 3. Real-data benchmarks: excess test loss over the retrospective test-loss oracle. Markers are fold medians and v

1. ScoreStop 통계량 제안: validation 데이터에서 계산되는 score function s(W;h,f)의 empirical mean과 variance를 이용해 Tn(h,f*) = n·En[s]^2/En[s^2] 형태의 scale-invariant 검정통계량을 구성하고, 이것이 귀무가설 하에서 χ²₁ 분포로 수렴함을 증명(Proposition 4.6).
2. 대립가설 하 발산 증명: ⟨h, h(f)⟩≠0인 한 Tn이 대립가설 하에서 무한대로 발산함을 증명(Proposition 4.7), 방향으로 h=h(f)를 선택하는 것이 near-optimal임을 보임(Corollary 4.8).
3. 일반화된 적용범위: smooth loss(squared-error, logistic, Poisson, multiclass softmax)뿐 아니라 LambdaRank 같은 implicit loss, Cox regression 같은 data-dependent loss(influence function 활용)에도 동일한 directional-derivative 원리로 확장 가능함을 보임.
4. 경험적 검증: synthetic 실험과 regression, classification, count, ranking, quantile, survival 등 다양한 실제 tabular benchmark에서 ScoreStop이 기존 loss-based 방법과 경쟁력 있는 성능을 보임을 입증.

How

Figure 4. QQ plots of the score statistics in a ±5 iteration window around the median test-loss argmin iteration, for ea

• Hilbert space H 상에서 population risk minimizer f0와 Gateaux derivative R'_0(h;f)를 정의하고, score function s(W;h,f)=h(X)∇L{f(X),W}로 이를 표현
• validation 데이터로 R'_n(h;f)를 empirical 추정하고 Central Limit Theorem을 통해 분포 도출
• variance를 En[s²]로 추정하여 scale-invariant 통계량 Tn 구성, 이는 h와 ∇L의 스케일링(및 부호)에 불변
• 각 boosting 반복에서 다음 base learner ĥ_m이 제공하는 방향을 test direction으로 사용해 Tn(ĥ_m, f̂_m) 계산, 학습률 η_m과 무관하게 동일한 값을 가짐을 보임
• squared-error, logistic, Poisson, multiclass softmax loss에 대한 구체적 예시로 통계량의 형태를 유도
• vector-valued output(다중 클래스 등)으로 프레임워크를 일반화하고, implicit loss(LambdaRank)와 data-dependent loss(Cox regression, influence function 활용)로 확장
• 이론적 성질(귀무가설 하 χ²₁ 수렴, 대립가설 하 발산)을 증명하고, synthetic 및 real-data benchmark로 검증

Originality

• 기존의 patience 기반 loss 모니터링과 달리 boosting early stopping을 formal hypothesis test로 재구성한 최초의 시도로, 저자들이 주장하듯 "boosting early-stopping rule built around a hypothesis test"라는 점에서 개념적 참신성이 있음
• Mahsereci et al. (2017)의 휴리스틱 gradient 평균/분산 비교와 달리, 분석적으로 calibrate된 chi-squared 분포를 갖는 통계량을 유도하여 부트스트랩 없이도 원칙적인 임계값 설정이 가능
• Hudson et al. (2026)의 일반적인 functional score test 프레임워크를 boosting의 단일 최적 방향(base learner가 제공하는 방향)에 특화하여 analytically calibrated instance로 구체화함으로써, implicit loss(LambdaRank)와 data-dependent loss(Cox regression)까지 통일된 방식으로 다룰 수 있게 확장

Limitation & Further Study

• 통계량의 점근적 분포(χ²₁)에 의존하므로 소표본(validation set이 작은 경우)에서의 성능과 타당성에 대한 논의가 제한적일 수 있음
• 단일 방향(base learner가 제공하는 방향)만을 사용하는 것이 Cauchy-Schwarz 의미에서 최적이라고 주장하나, Hudson et al.(2026)의 원래 프레임워크처럼 여러 방향에 대한 최대화를 사용하는 것과 비교했을 때의 검정력 손실 여부에 대한 정량적 분석이 충분히 다뤄지지 않을 수 있음
• 실험이 synthetic 문제와 특정 real-data benchmark(regression, classification, count, ranking, quantile, survival)에 국한되어 있어, 대규모 산업 데이터셋이나 다른 boosting 구현체(e.g. XGBoost, LightGBM, CatBoost 간의 세부 구현 차이)에서의 일반화 가능성은 추가 검증이 필요함
• 후속 연구로는 유한 표본 보정(finite-sample correction), 다중 방향 검정으로의 확장, 그리고 다양한 실제 산업 응용에서의 대규모 벤치마크가 요구됨

Evaluation

총평: ScoreStop은 gradient boosting의 early stopping을 통계적 가설 검정으로 원칙 있게 재구성한 독창적이고 이론적으로 탄탄한 연구로, implicit/data-dependent loss까지 아우르는 일반성이 돋보이나 유한 표본 상황과 다중 방향 검정으로의 확장에 대한 추가 검증이 필요하다.