Persistent Homology for Distribution Drift Detection in LLM Embedding Streams

Motivation

• Known: 기존 drift detector들은 centroid shift, Fréchet drift distance(DRIFTLENS), MMD(MMDEW 등)와 같이 평균·공분산·kernel mean embedding 등 저차 통계량에 기반하여 topic 전환이나 class imbalance 같은 drift에는 효과적임이 알려져 있다.
• Gap: 그러나 이러한 저차 통계 기반 방법들은 embedding space의 기하학적 구조(클러스터 배치, loop, connectivity)가 변하지만 평균이나 공분산은 거의 변하지 않는 drift에 대해서는 성능이 저하될 수 있으며, persistent homology를 이러한 상황에서 체계적으로 평가한 선행 연구가 없다는 gap이 존재한다.
• Why: 배포된 언어모델은 입력 분포가 지속적으로 변화하며 이를 탐지하지 못하면 성능 저하가 은밀히 발생해 비용이 큰 실패로 이어지므로, 기존 방법이 놓칠 수 있는 기하학적 drift를 포착할 수 있는 보완적 탐지 기법을 규명하는 것은 신뢰할 수 있는 ML 배포 파이프라인 구축에 중요하다.
• Approach: 저자들은 subtopic reweighting, style perturbation, geometric reorganization이라는 세 가지 centroid-controlled drift scenario를 설계하여 기존 저차 통계 기반 방법의 이점을 최소화한 뒤, 2개 데이터셋(AG NEWS, 20 NEWSGROUPS), 2개 embedding model(MiniLM-L6, MiniLM-L3), 5개 random seed 조건에서 8가지 topological feature와 6가지 classical baseline의 drift 탐지 성능(AUC)을 비교하였다.

Achievement

Figure 2. Calibration check: realized FPR matches the 5% tar-

1. Wasserstein distance on H0 persistence diagram의 우위 입증: geometric reorganization drift scenario에서 AUC=0.858을 기록하여 최고 성능 classical baseline인 MMD-RBF(AUC=0.782)를 paired permutation test 기준 p<0.001로 유의하게 상회하였다.
2. 시나리오별 차별적 성능 규명: subtopic reweighting drift에서는 오히려 classical method가 여전히 우수하며, style perturbation에서는 모든 방법이 중간 수준의 탐지력만 보임을 확인하여, topological method의 이점이 특정 drift 유형에 국한됨을 실증하였다.
3. 실용적 효율성 검증: window size, subsample size, PCA dimensionality에 대한 포괄적 ablation을 통해 topological method가 PCA 50차원, 100-point window 설정에서 window당 37–45ms로 실행 가능함을 보여, 실시간 배포 가능성을 확인하였다.
4. Calibration 검증: 5% 목표 FPR과 실제 FPR이 일치함을 보여 detector들의 threshold 보정이 통계적으로 타당함을 입증하였다.

How

Figure 3.

• 문제를 reference window R과 test window W 사이의 two-sample test (H0: PR=PW vs H1: PR≠PW)로 정식화하고, score function s(R,W)와 held-out window로 보정한 threshold τ를 사용
• 4가지 dataset-model 구성(AG NEWS/20 NEWSGROUPS × MiniLM-L6/L3)에서 7가지 drift scenario(표준 3종: abrupt/gradual topic drift, domain shift + centroid-controlled 3종: subtopic reweighting, style perturbation, geometric reorganization) 적용
• subtopic reweighting은 k-means로 target class를 2개 subtopic으로 나누어 50/50→90/10 비율 변화, style perturbation은 embedding space에서 균형 잡힌 반대 방향 noise 추가로 centroid를 정확히 보존하면서 point cloud geometry만 변경
• persistence diagram으로부터 H0/H1 기반 8가지 topological feature(예: Wasserstein distance) 추출, MMD-RBF, Fréchet drift distance, centroid shift 등 6가지 classical baseline과 AUC 비교
• paired permutation test로 통계적 유의성 검증, window size·subsample size·PCA dimensionality에 대한 ablation 및 runtime(ms/window) 측정 수행

Originality

• persistent homology를 LLM embedding stream의 drift detection에 적용한 최초의 체계적 비교 평가라는 점에서 문제 설정 자체가 새로움
• 기존 detector의 이점을 의도적으로 무력화하는 centroid-controlled drift scenario(특히 exact centroid preservation을 갖는 geometric reorganization)를 설계하여 평가 프레임워크의 엄밀성을 높인 점
• 정적 분류에 국한되었던 기존 TDA 응용과 달리 streaming drift detection이라는 동적 문제에 topological feature를 적용한 위치 설정

Limitation & Further Study

• style perturbation은 실제 문체 변화의 synthetic proxy에 불과하며, 저자들도 실제 text-level perturbation을 통한 보다 현실적인 평가가 필요함을 인정함
• 비교 대상 baseline이 learned-kernel MMD(Liu et al., 2020)나 nonlinear classifier 기반 C2ST 같은 더 강력한 two-sample test 방법을 포함하지 않아, topological method의 상대적 우위가 과대평가되었을 가능성 존재
• MiniLM 계열 두 모델만 사용하여 아키텍처적으로 다양한 encoder(예: 대형 decoder-only LLM embedding)에 대한 일반화 가능성이 검증되지 않음
• subtopic reweighting에서 classical method가 여전히 우세하다는 결과는 topological method의 실무 적용 범위가 제한적임을 시사하며, 후속 연구에서 어떤 조건에서 두 접근을 결합해야 하는지 규명 필요

Evaluation

총평: persistent homology를 LLM embedding drift 탐지에 적용한 최초의 체계적 실증 연구로서 방법론적 엄밀성과 정직한 한계 인정이 돋보이나, 더 강력한 baseline과의 비교 및 실제 style drift로의 확장이 필요한 초기 단계의 workshop-level 기여로 평가된다.