Language Model Augmented Semi-Supervised Statistical Inference

Motivation

• Known: Semi-supervised inference는 labeled 데이터가 제한적일 때 unlabeled 데이터를 활용해 파라미터 추정의 효율성(narrower confidence interval, higher power)을 높이는 방법으로, density ratio 기반 가중 likelihood, adaptive estimator, PPI(Prediction-Powered Inference) 등 다양한 프레임워크가 제안되어 왔다. 또한 BioGPT, PubMedBERT, Med-PaLM, LLaVA-Med, TabLLM 등 pre-trained multimodal LLM들이 unstructured biomedical data 처리에서 강력한 성능을 보이고 있다.
• Gap: 기존 SSI 방법들은 structured variable과 labeled-unlabeled 간 엄격히 매칭된 covariate를 전제로 하여, 임상 노트·음성·영상 같은 unstructured 데이터와 서로 다른 프로토콜로 인한 covariate misalignment가 만연한 실제 biomedical 데이터에는 적용하기 어렵다. 또한 LLM을 단순히 SSI에 도입할 경우 통계적 타당성(consistency, valid uncertainty quantification)이 보장되지 않는다는 근본적 한계가 있다.
• Why: Alzheimer's disease 진단을 위한 speech 데이터에서 핵심 biomarker를 식별하는 것처럼, biomedical 연구에서는 단순 예측 정확도가 아니라 outcome과 주요 변수 간 연관성을 통계적으로 엄밀하게 추정하고 불확실성을 정량화하는 것이 임상적 의사결정과 생물학적 메커니즘 이해에 필수적이기 때문에, LLM의 예측력을 신뢰성 있게 통계적 추론에 통합하는 방법론이 중요하다.
• Approach: LLM이 생성한 pseudo-label을 classical machine learning 기반 calibration으로 보정하고, 데이터셋 간 covariate misalignment 상황에서는 average LLM prediction이 안정적으로 유지되는 prediction-invariant region을 식별하여 이 정보만 선택적으로 통합함으로써, 통계적 타당성을 유지한 채 효율성을 높이는 LASS(Language model Augmented Semi-supervised Statistical inference) 프레임워크를 제안한다.

Achievement

Figure 5. Case study results (unmatched covariates).

1. LLM 예측 통합 및 calibration 프레임워크: covariate가 매칭된 상황에서 LLM raw output을 classical ML로 calibration하여 관측 label과 결합한 pseudo-label을 구성, 이를 통해 통계 모델을 추정하는 방법을 Section 3.1에서 제시.
2. Prediction Invariance Region 발견 알고리즘: 이질적 데이터 수집 프로토콜로 인한 covariate misalignment 상황에서, 데이터셋 간 average LLM prediction이 안정적으로 유지되는 영역을 찾아 mismatched covariate 정보를 선택적으로 활용하는 알고리즘을 Section 3.2에서 제안.
3. 이론적 효율성 및 타당성 보장: Theorem 4.2, 4.4를 통해 제안 추정량의 점근적 타당성(asymptotic guarantee)을 증명하고, Corollary 4.3에서 기존 추정량 대비 효율성 이득이 발생하는 조건을 규명.
4. Alzheimer's disease speech 데이터 케이스 스터디: 실제 speech 데이터를 활용한 Alzheimer's disease 탐지에서 핵심 biomarker 식별 사례를 통해 방법의 실용성을 입증.

How

Figure 4. Comparison of our proposed method and the benchmark methods for various covariates.

• 문제 설정: unlabeled sample {Xi, Zi} N개와 labeled sample {Yi, Xi, Zi, Ui} n개를 정의하고, Ui는 labeled 데이터에만 존재하는 추가 covariate로 misalignment를 표현.
• 3.1절: covariate가 매칭된 경우, LLM의 raw prediction을 classical ML(예: gradient boosting)으로 calibration하여 pseudo-label을 생성하고, 관측 label과 결합해 통계 모델 파라미터를 추정.
• 3.2절: covariate misalignment가 존재하는 경우, 여러 데이터셋에서 average LLM prediction이 안정적으로 유지되는 Prediction Invariance Region을 탐색하는 알고리즘 제시(Figure 1 참조), 이를 통해 mismatched covariate에서도 정보 손실 없이 robust한 추론 가능.
• 4절: 제안 추정량에 대한 점근적 정규성, valid confidence interval 구성, 기존 estimator 대비 efficiency gain 조건을 이론적으로 도출(Theorem 4.2, 4.4, Corollary 4.3).
• 시뮬레이션(Figure 3, 4)과 실제 Alzheimer's disease speech 데이터 케이스 스터디(Figure 5, 6)를 통해 다양한 prompt와 벤치마크 방법 대비 성능 비교 및 실제 prediction-invariant region과 calibration weight 시각화.

Originality

• 기존 PPI(Prediction-Powered Inference) 계열 연구가 black-box ML 예측을 활용한 SSI에 집중한 것과 달리, 본 논문은 multimodal LLM의 예측을 pseudo-label calibration 방식으로 SSI에 통합한 최초의 시도 중 하나.
• covariate misalignment 문제를 다루기 위해 prediction-invariance identification이라는 새로운 개념을 도입하여, 서로 다른 프로토콜로 수집된 데이터셋 간에도 robust하게 정보를 선택적으로 활용할 수 있는 알고리즘을 제안.
• 통계적 타당성(validity)과 효율성(efficiency)을 동시에 이론적으로 보장하면서 unstructured biomedical data(음성 등)에 실제 적용 가능한 프레임워크를 제시.

Limitation & Further Study

• LLM의 raw prediction 품질과 calibration에 사용되는 classical ML 모델의 성능에 결과가 크게 의존할 수 있어, LLM 선택이나 prompt 설계(Figure 3에서 시사됨)에 따른 민감도 분석이 더 필요.
• Prediction Invariance Region 식별 알고리즘이 실제로 얼마나 다양한 misalignment 패턴과 데이터셋 규모에서 안정적으로 작동하는지에 대한 대규모 실증 검증이 제한적일 수 있음.
• 단일 케이스 스터디(Alzheimer's disease speech 데이터)에 기반한 실증이므로, 다른 biomedical 도메인이나 multimodal(영상, 텍스트 등) 데이터로의 일반화 가능성에 대한 추가 검증이 필요.
• LLM 예측 자체의 편향(bias)이나 hallucination이 calibration 과정에서 완전히 제거되지 않을 경우 통계적 타당성에 미치는 영향에 대한 강건성 분석이 추가되면 좋을 것.

Evaluation

총평: LLM을 활용한 semi-supervised statistical inference에서 unstructured data와 covariate misalignment라는 실질적 문제를 이론적으로 엄밀하게 해결하려는 시도로, biomedical 응용 분야에서 실용성과 학술적 기여도가 모두 높은 연구이다.