Accelerometry-Derived Digital Biomarkers for Cardiometabolic Risk: A Population-Representative Tabular Benchmark with Uncertainty Quantification

Motivation

• Known: 기존 tabular benchmark들은 gradient-boosted tree부터 transformer 기반 tabular foundation model까지 다양한 방법론 발전을 다루어왔으나, 대부분 generic dataset을 사용하며 complex survey sampling, demographic oversampling, clinically validated outcome, subgroup별 fairness 요구사항을 반영하지 못한다는 점이 알려져 있다.
• Gap: 임상 및 웨어러블 기반 tabular 예측 연구에서 survey design weight, 소수집단 oversampling, 실제 fasting lab outcome, 그리고 conformal prediction 기반 uncertainty quantification의 subgroup별 coverage equity를 동시에 다루는 population-representative benchmark가 부재하다.
• Why: 웨어러블 accelerometry 기반 digital biomarker가 임상에 실제 배포되려면 이질적 mixed-type feature, 결측 lab value 처리뿐 아니라 신뢰할 수 있는 uncertainty estimate과 인구집단 간 공정한 성능이 규제·임상적으로 요구되기 때문에, 이를 검증할 수 있는 현실적 benchmark의 필요성이 크다.
• Approach: NHANES 2003-2006의 hip-worn accelerometry, fasting lab biomarker, 식이 데이터를 결합해 새로운 벤치마크를 만들고, specialised-to-general spectrum을 대표하는 ridge regression, XGBoost, TabPFN v2를 비교하며 split conformal prediction으로 90% prediction interval과 sex/race 별 coverage를 평가한다.

Achievement

Figure 1. Empirical conformal coverage (90% target) by demo-

1. NHANES Accelerometry Cardiometabolic Benchmark 구축: hip-worn accelerometry, fasting biomarker, 식이 섭취, 인체계측을 포함한 1,381명 규모의 population-representative tabular benchmark를 제공하고 코드와 데이터셋을 공개했다.
2. 모델 비교 결과: TabPFN v2가 세 outcome 모두에서 최고 R2(HbA1c 0.156, CRP 0.383)를 달성했으며, 특히 CRP에서 ridge 대비 +0.044, XGBoost 대비 +0.070의 향상을 보였다.
3. Triglycerides 예측 불가능성 확인: 모든 모델에서 R2<0.05로 나타나 유전적 요인이 지배적인 outcome의 lifestyle feature 기반 예측 한계를 실증적으로 보였다.
4. Subgroup coverage equity 평가: split conformal prediction의 marginal coverage는 CRP·HbA1c에서 90% 목표에 근접했으나, Mexican American 참가자의 HbA1c coverage(0.719)처럼 특정 subgroup에서 localized undercoverage가 발생함을 발견해 marginal guarantee와 conditional fairness 간 격차를 드러냈다.

How

Figure 1. Empirical conformal coverage (90% target) by demo-

• NHANES cycle C, D의 accelerometry(≥4 wear day, ≥600 min/day) 및 fasting≥8시간 조건을 만족하는 N=1,381 성인 표본을 구성
• TAC, TLAC, ST, MVPA, LIPA, WT 등 6개 activity feature와 12개 인구/임상 covariate을 사용, HbA1c/triglycerides/CRP를 log-transform 후 개별 모델링
• train(60%)/calibration(20%)/test(20%) stratified split(seed=42)로 ridge regression(α=1.0), XGBoost(500 estimators, lr 0.05, depth 6, early stopping), TabPFN v2(in-context learning, 사전학습된 transformer, gradient update 없음)를 평가
• calibration set에서 절대 residual 기반 non-conformity score로 split conformal prediction 수행, α=0.10에서 90% prediction interval 산출
• sex, race/ethnicity(Mexican American, Other Hispanic, NH White, NH Black, Other) subgroup별 empirical coverage를 비교해 fairness 검증

Originality

• 기존 tabular benchmark들이 결여한 survey sampling design, 소수인종 oversampling, 임상적으로 검증된 fasting outcome을 결합한 최초의 accelerometry 기반 population-representative benchmark를 제시
• 단순 예측 성능 비교를 넘어 conformal prediction 기반 uncertainty quantification과 demographic subgroup별 coverage equity를 함께 평가하는 프레임워크를 제안
• TabPFN v2와 같은 tabular foundation model을 소규모(N<1,000) 실제 임상 코호트에 적용해 성능과 공정성을 검증한 초기 사례

Limitation & Further Study

• 표본 크기(N=1,381, test N=276)가 작아 subgroup별 coverage 추정의 통계적 변동성이 크고, 신뢰구간 없이 point coverage만 보고되어 결론의 견고성이 제한적임
• NHANES 2003-2006이라는 과거 cycle만 사용해 최신 accelerometry 기술 및 인구 구성 변화가 반영되지 않으며, 시계열적 일반화 가능성이 불명확함
• triglycerides처럼 유전적 요인이 지배적인 outcome에 대해서는 genotype 정보 부재로 근본적 예측 한계가 존재하며, 이를 보완할 추가 데이터원 통합이 필요함
• subgroup별 undercoverage(Mexican American HbA1c)에 대한 원인 분석이나 이를 개선하기 위한 conditional conformal 기법(e.g., Mondrian conformal prediction) 적용이 이루어지지 않음
• 단일 seed(42) 기반 split만 사용해 결과의 재현성 및 분산에 대한 민감도 분석이 부족함

Evaluation

총평: 임상 tabular benchmark의 현실성과 공정성 문제를 함께 다룬 시의적절한 workshop 논문이나, 표본 크기와 통계적 엄밀성의 한계로 인해 제시된 subgroup coverage 격차가 후속 연구에서 더 정밀하게 검증될 필요가 있다.