Block Redundancy in Tabular Foundation Models for Clinical Applications

Motivation

• Known: TabPFNv2, TabICL, TabDPT, Mitra와 같은 in-context-learning TFM들은 gradient update 없이 다양한 tabular task에 적용 가능해 임상 환경에 매력적이지만, 12-16개의 transformer block으로 인해 GPU inference가 필요하다는 점이 알려져 있다. 반면 LightGBM/GBDT 같은 CPU 기반 모델은 종종 비슷한 성능을 내지만 수작업 feature engineering과 hyperparameter tuning이 필요하다.
• Gap: vision/language transformer에서 관찰된 block redundancy가 tabular transformer(짧은 sequence, 이종 feature type, 순차적 문법 부재)에도 존재하는지는 자명하지 않으며, TFM이 실제로 과도하게 파라미터화되어 있는지에 대한 연구가 부재했다.
• Why: 병원의 on-premise 배포는 GPU inference를 요구하는 TFM 아키텍처로 인해 제약되므로, block redundancy를 활용해 계산량을 줄이면서 성능을 유지할 수 있다면 임상 환경에서 TFM의 실용적 배포 가능성이 크게 확대된다.
• Approach: 본 논문은 per-block sensitivity와 pairwise representation similarity(선형 근사 오차 ε(s,e))를 측정해 redundancy를 확인하고, 500개의 calibration sample만으로 fit한 closed-form linear translator로 연속된 block들을 대체하는 방식을 제안한다.

Achievement

Figure 2. Per-block sensitivity (∆AUROC when one block is re-

1. Block redundancy 규명: MIMIC-III, eICU-CRD를 포함한 8개 임상 데이터셋과 3개 TabZilla control에서 4개 TFM의 block 간 표현이 상당히 유사하며 특정 block이 대부분의 연산을 담당함을 실증했다.
2. 극단적 압축 달성: closed-form linear translator를 이용해 16개 중 15개 block을 근사(단일 block만 유지)해도 downstream AUROC를 유지하거나 오히려 능가하는 결과를 보였다(Table 1).
3. naive layer dropping과의 대비: identity 함수로 block을 단순 제거하면 AUROC가 치명적으로 붕괴(예: TabPFN Heart .428)하는 반면, 제안된 linear translator는 성능을 거의 그대로 보존함(.861)을 보여 근사 방법의 필수성을 입증했다.
4. attention 패턴 분석: TabICL의 block별 attention entropy가 근사 전후 거의 변화가 없음을 보여, tabular transformer의 attention이 layer에 따라 크게 분화되지 않는다는 특성을 규명했다.

How

Figure 3. Block inclusion frequency in the best approximation

• 계산 방법: depth s의 표현 Hs와 depth e의 표현 He 사이 최적 affine map (W, b)를 least squares로 closed-form 계산하고, 상대 잔차 ε(s,e)를 정의해 block s+1,...,e의 선형적 대체 가능성을 측정
• 아키텍처별 처리: single-axis self-attention(TabICL, TabDPT)에는 공유된 단일 (W,b)를, dual-axis attention(TabPFNv2, Mitra)에는 feature index별로 개별 (Wf, bf)를 fit하여 축 간 혼합을 방지
• inference 시 학습된 translator로 s+1~e block을 대체하고 나머지 block과 classification head는 그대로 유지; 500개 calibration item으로 33-109ms만에 GPU에서 gradient 없이 수행
• w=1로 개별 block 중요도(per-block sensitivity) 측정, w≥2로 다중 block 근사(multi-block approximation)를 통한 고압축 실험 수행
• 8개 임상 데이터셋(binary/multi-class)과 3개 TabZilla control, 회귀 과제(MIMIC-III length-of-stay)에서 AUROC 및 관련 지표로 평가, calibration split으로만 skip window 선택하고 test label은 사용하지 않음

Originality

• vision/language transformer에서 알려진 block redundancy 개념을 tabular foundation model이라는 새로운 도메인(짧은 시퀀스, 이종 feature, 비순차적 구조)에 최초로 적용해 검증
• dual-axis attention(item×feature)을 갖는 모델을 위한 per-feature linear translator라는 아키텍처 특화 확장을 제안
• 임상 데이터(MIMIC-III, eICU-CRD 등)에 특화된 벤치마크로 실제 병원 배포 시나리오를 고려한 실용적 문제 설정을 제시

Limitation & Further Study

• 발췌된 본문이 ablation 부분에서 잘려 있어 전체 실험적 견고성(예: calibration sample 수에 따른 민감도, 다양한 random seed 결과) 확인이 어려움
• 네 개의 TFM에 한정된 평가로, 더 다양한 아키텍처나 더 큰 스케일의 임상 데이터셋에 대한 일반화 가능성은 추가 검증이 필요
• 압축된 모델의 실제 GPU/CPU 배포 시 추론 속도, 메모리 사용량 등 실질적인 on-premise 배포 이점에 대한 정량적 벤치마크(latency, throughput)가 본문에서 명확히 제시되지 않음
• 후속 연구로는 다양한 TFM 아키텍처로의 확장, translator 자체의 압축(quantization 등과 결합), 실제 병원 환경에서의 end-to-end 배포 검증이 필요

Evaluation

총평: TFM의 block redundancy를 체계적으로 규명하고 closed-form linear translator라는 간단하면서도 효과적인 압축 방법을 제안한 실용적이고 임팩트 있는 workshop 논문으로, 임상 on-premise 배포라는 중요한 문제에 직접적으로 기여한다.