Beyond Classification: A Cough Regression Benchmark for Respiratory Acoustic Foundation Models

Motivation

• Known: Respiratory acoustic foundation model들은 cough classification에서 뛰어난 성능을 보이는 것으로 알려져 있으며, OPERA는 breath/vowel 기반 spirometry regression을, HEAR는 단일 모델·linear probe로 CIDRZ/Coswara의 age·BMI regression을 다룬 바 있다.
• Gap: 기존 연구는 cough로부터 연속적인 건강 지표(age, BMI, disease probability 등)를 예측하는 regression 능력을 multi-model, multi-target, cross-dataset 관점에서 체계적으로 검증하지 않았으며, regression head 종류(linear vs. non-linear)에 따른 성능 차이나 데이터셋 규모와 head capacity 간의 상호작용도 밝혀지지 않았다.
• Why: 물리적 측정 장비가 부족한 저소득국가(LMIC) 환경에서 cough 오디오만으로 age, BMI, 질병 확률을 passive하게 추정할 수 있다면 triage 등 임상적으로 실질적인 가치를 제공할 수 있어, 이 벤치마크는 foundation model의 실제 임상 적용 가능성을 평가하는 데 중요하다.
• Approach: 다섯 개의 frozen foundation model 임베딩에 linear, MLP-small, full MLP 세 종류의 regression head를 적용하여 subject-disjoint 프로토콜 하에서 within-dataset 성능, head 비교, cross-dataset transfer, low-data regime 성능을 체계적으로 비교하는 벤치마크 연구이다.

Achievement

Figure 2. CIDRZ age MAE vs. training set size (MLP-small, 3-

1. 다중모델·다중타겟 cough regression 벤치마크 구축: 5개 FM × 6개 타겟 × 3개 데이터셋을 subject-disjoint 프로토콜로 평가하여 MAE와 mean-predictor baseline(MAD)을 함께 보고했다.
2. Regression head 비교: MLP-small이 30개 model×task 조합 중 23개에서 linear probing을 능가했고, full MLP는 소규모 임상 데이터에서 과적합(M2D+RESP CIDRZ에서 +0.53 yr 악화)되지만 대규모 데이터에서는 회복되는 dataset-size × head-capacity trade-off를 규명했다.
3. Generative pretraining의 이점 확장: OPERA-GT가 세 데이터셋 모두에서 OPERA-CT보다 age regression 성능이 우수함을 보여, breath 기반 regression에서 관찰되던 generative pretraining 우위를 cough로 확장했다.
4. Cross-dataset transfer 비대칭성 발견: 대규모 다양한 데이터(CoughVID)는 소규모 임상 데이터(CIDRZ)로 잘 일반화되나(−0.17 yr) 그 반대(CIDRZ→Coswara)는 실패함(+2.43 yr, +26.6%)을 확인했다.
5. Low-data regime 분석: HEAR와 M2D+RESP는 N=50 샘플만으로 근접 최대 성능에 도달하는 반면 OPERA 모델은 N=400이 필요함을 보여, pretraining corpus 다양성이 low-data 성능을 좌우함을 시사했다.

How

• 모든 오디오를 16kHz mono로 resample하고 2초로 padding/trimming한 뒤 5개 frozen encoder(OPERA-CT, OPERA-CE, OPERA-GT, HEAR, M2D+RESP)로 임베딩을 한 번 추출하여 모든 head와 평가 규약에 재사용
• Linear(dfeat→1), MLP-small(dfeat→256→1, dropout 0.3), full MLP(dfeat→dfeat→1) 세 가지 regression head를 Adam optimizer(lr=1e-4, L2=1e-5, batch 64)로 학습하고 5개 seed에 대해 mean±std 보고
• CIDRZ와 Coswara는 subject-disjoint 64/16/20% split, CoughVID는 공식 UUID-level split(train 3050, val 1019, test 2789) 사용
• Within-dataset regression(6개 타겟), 90개 model×task×head 조합의 head 비교, 6개 age transfer 조건의 cross-dataset transfer, low-data regime(N=50~400) 분석의 네 가지 평가 규약으로 결과 도출

Originality

• Cough 오디오에 국한하여 classification이 아닌 continuous regression(연속 타겟) 문제를 다룬 최초의 체계적 벤치마크로, 기존 HEAR/OPERA 연구의 단일모델·linear probe 한계를 다중모델·다중head로 확장함
• Dataset-size와 head-capacity 간 상호작용(MLP-small vs full MLP overfitting)을 정량적으로 규명한 점이 독창적
• Cross-dataset transfer의 비대칭성(대규모 다양 데이터→소규모 임상 데이터는 성공, 역방향은 실패)을 정량적으로 보고하여 임상 배포시 pretraining/finetuning 데이터 구성에 대한 실질적 시사점 제공
• HEAR의 CIDRZ 결과에 대해 pretraining overlap 가능성을 스스로 지적하고 headline claim에서 제외하는 등 방법론적 투명성 확보

Limitation & Further Study

• CIDRZ 데이터셋에서는 4개 타겟 모두 best/MAD가 0.92~0.99로 chance 수준에 가까워 실제 임상적으로 유의미한 신호가 매우 제한적임을 저자들도 인정하고 있으며, 이는 벤치마크의 임상적 활용 가능성에 의문을 남김
• X-ray abnormality와 TB probability가 실제 이진 진단이 아닌 연속 파생 점수(score-reproduction task)로 취급되어 임상 endpoint 예측으로 직접 해석하기 어려움
• HEAR의 CIDRZ 결과가 pretraining 데이터와 겹칠 가능성이 있어 오염(contamination) 문제가 완전히 해소되지 않았으며, 이는 다른 모델에도 잠재적으로 존재할 수 있는 위험임
• 세 데이터셋 모두 규모가 상대적으로 작고(N=1049~6858) 특정 지역/수집 방식에 편향되어 있어 일반화 가능성에 한계가 있으며, 향후 더 크고 다양한 임상 코호트에서의 검증과 non-linear head의 추가적인 정규화 기법 연구가 필요함

Evaluation

총평: Cough regression이라는 미개척 영역에 대해 다중모델·다중타겟·다중head 비교를 통해 체계적이고 투명한 벤치마크를 제공한 실용적 가치가 높은 연구이나, CIDRZ 임상 타겟에서의 신호 약함과 데이터 규모의 제약은 향후 개선이 필요한 부분이다.