Token-Only Adaptation of Frozen Self-Supervised Vision Foundation Models for Cross-Species Animal Pose: A Pareto-Frontier Characterization Across Eight Held-Out Mammal Species

Motivation

• Known: DeepLabCut, SLEAP, SuperAnimal과 같은 markerless animal pose estimation 툴킷은 새로운 종에 적용하기 위해 수백만 개의 backbone 파라미터를 fine-tuning해야 하며, 이는 종마다 반복해야 하는 값비싼 과정이다. 한편 BitFit, LoRA, visual prompt tuning 같은 parameter-efficient fine-tuning(PEFT) 기법들은 classification 과제에서는 적은 파라미터로 full fine-tuning에 근접한 성능을 낼 수 있음이 알려져 있다.
• Gap: 기존 PEFT 연구는 대부분 단일 라벨을 출력하는 classification에 한정되어 있으며, 17개 keypoint 좌표를 공유 decoder를 통해 예측해야 하는 dense regression 과제인 pose estimation, 특히 cross-species shift 상황에서 단일 conditioning 토큰만으로 prompt-tuning 방식이 통할 수 있는지는 검증된 바가 없다.
• Why: backbone을 전혀 업데이트하지 않고 종당 768개(약 3KB)의 파라미터만으로 pose model을 구축할 수 있다면, 노트북 수준의 자원으로도 실험실에서 즉시 새로운 종에 대한 markerless pose estimation을 배포할 수 있어 행동신경과학, 동물행동학, 보전생물학 분야의 실용성을 크게 높일 수 있다.
• Approach: frozen DINOv2-base가 산출한 patch feature를 입력으로, 종별 학습 토큰이 작은 cross-attention decoder를 조건화하여 17개 keypoint를 예측하도록 하고, token-utility auxiliary loss로 decoder가 토큰을 실제로 사용하도록 강제한다.

Achievement

Figure 2. (a) RMSEnorm versus trainable-parameter budget per species (log x; lower is better). For the within-15%

1. Pareto frontier 규명: AP-10K 8개 held-out 종, 10 seed에서 token-only adaptation이 모든 종에서 normalized keypoint error를 유의하게 줄였으며(95% paired-bootstrap CI가 모두 0을 배제), rabbit·fox·panther 3종은 사전등록한 15% 개선 임계값을 충족했다.
2. Full fine-tuning과의 near-tie: fox 종에서 768-파라미터 토큰이 8.5M-파라미터 decoder full fine-tune 대비 1.03배 error ratio를 달성해 11,118배 적은 파라미터로 사실상 동등한 성능을 보였다.
3. PEFT 대비 Pareto 우위: 동일한 5-shot, 50-step harness에서 BitFit·LoRA가 raw RMSE에서 근소하게 우세했으나(p<10^-4, p=0.004) ITA는 19–114배 적은 파라미터로 비교 가능한 PCK@0.05를 달성했다.
4. 필수 설계 요소 확인: cross-attention identity injection과 token-utility auxiliary loss 중 하나라도 제거하면 적응 신호가 붕괴함을 ablation으로 입증했다.
5. 부정적 결과의 투명한 보고: 사전등록된 가설(H5a, training-species 토큰 interpolation이 random 초기화보다 우수)이 3개 아키텍처 모두에서 기각되었음을 그대로 보고했다.

How

Figure 1. Identity-Token Adaptation. A frozen DINOv2-base backbone (blue, never updated) produces P patch features;

• frozen DINOv2-base(86M, 미업데이트)로부터 P=256개, d=768 차원의 patch feature 추출
• 종(species)별 학습 토큰 zg∈R^768을 cross-attention decoder(~7.9M 파라미터: input projection, 2-layer transformer encoder, identity-projection layer, 17개 keypoint query, 2개 cross-attention block, coordinate head)에 조건으로 주입
• 4단계 nested adaptation budget 정의: 768(token only), 296K(+identity-projection), 1.78M(+첫 cross-attention block), 8.5M(전체 decoder fine-tune, upper-bound 비교군)
• hinge-margin auxiliary loss로 random token 교체 시 출력 표준편차가 임계값 이상 유지되도록 강제하여 decoder가 토큰을 무시하지 않게 함
• cosmax(≒training pool과의 최대 코사인 유사도) 기준 다양한 거리의 8개 held-out 종을 선정, 10 random seed로 평가
• RMSEnorm, PCK@0.05 지표 및 paired bootstrap(1,000 replicates)로 유의성 검증, 사전등록 임계값(H1: 15% 이내, H5a: interpolation이 15% 이상 우수) 적용
• BitFit(14,594 파라미터), LoRA(r=4, 87,560 파라미터)를 동일 5-shot 50-step harness로 비교
• FiLM-only modulation과 auxiliary loss 제거 등 architectural ablation 수행

Originality

• backbone을 완전히 동결한 채 종당 단 하나의 학습 토큰(768개 스칼라)만으로 cross-species animal pose adaptation을 시도한 최초의 시도로, 기존 PEFT 연구가 classification에 집중된 것과 달리 dense regression 과제에 극단적으로 적은 파라미터 조건을 적용
• 파라미터 수 대 정확도의 Pareto frontier를 8개 held-out 종에 걸쳐 체계적으로 특성화하고, fox 종에서 11,118배 파라미터 절감에도 near-tie를 달성한 구체적 수치를 제시
• interpolation 초기화 가설의 실패라는 부정적 결과를 은폐하지 않고 사전등록된 형태로 투명하게 보고하는 연구 관행을 보임
• 개선 폭이 training pool과의 거리에 단조적이지 않다는(non-monotone) 반직관적 현상을 관측하고 보고

Limitation & Further Study

• 평가가 AP-10K의 mammal 17-keypoint 공유 skeleton, 8개 held-out 종에 국한되어 있어 조류·파충류 등 골격 구조가 다른 taxa나 keypoint 수가 다른 상황으로의 일반화는 검증되지 않음
• far-from-training 영장류 등에서는 fine-tune 성능의 34–48%만 회복하여 frozen feature가 종 특이적 정보를 충분히 담지 못하는 floor effect가 존재하며, 이 한계를 극복할 방법은 제시되지 않음
• BitFit·LoRA 대비 raw RMSE에서는 여전히 통계적으로 유의하게 뒤처지므로 순수 정확도보다 파라미터 효율성 측면의 trade-off로만 정당화됨
• backbone을 DINOv2-base 하나로 고정했으며 다른 self-supervised backbone(DINOv2-large, MAE 등)에 대한 일반화 여부는 검증되지 않음
• 토큰 sensitivity와 개선 폭 간 상관관계가 없다는 관찰(r=0.08)에 대한 메커니즘적 설명이 부족하여 향후 어떤 조건에서 토큰 적응이 성공하는지에 대한 이론적 규명이 필요함

Evaluation

총평: 극도로 적은 파라미터(768개, 약 3KB)만으로 cross-species animal pose adaptation이 상당 부분 가능함을 엄격한 사전등록 실험과 통계적 검증으로 입증한 실용적이고 신뢰할 수 있는 연구이며, 부정적 결과까지 투명하게 보고한 점이 돋보인다.