Trust from afar: Evaluating remote model instances

Motivation

• Known: 모델 지문(fingerprinting) 기법은 모델 계보(lineage) 검증에는 쓰이지만 정확한 동치성 보장에는 부족하며, zkML은 강력한 동치성 보장을 제공하지만 frontier 모델 규모에서는 계산 비용이 지나치게 커 실용적이지 않다는 점이 기존 연구에서 알려져 있다.
• Gap: 기존 challenge-response 관련 연구들은 대부분 quantization이나 pruning처럼 적대적 의도가 없는 수동적(passive) 모델 변형만을 가정했으며, challenge distribution 선택이 탐지력에 미치는 영향과 적응적(adversarial)으로 탐지를 회피하려는 responder에 대한 체계적 평가가 부족했다.
• Why: 모델 감사(audit), 모델 보고(model reporting), 안전성 평가(safety evaluation)는 모두 제공자가 실제로 서빙하는 모델이 검증된 특정 모델이라는 가정에 의존하는데, API 접근만으로는 이를 확인할 방법이 없으므로 이 검증 문제는 프론티어 모델 거버넌스의 신뢰성에 직결되는 중요한 이슈이다.
• Approach: challenge-response 프로토콜을 next-token top-1 agreement 기반의 실용적 가설검정(hypothesis test)으로 정식화하고, GPT-2 기반의 fine-tuned·compressed·adaptive·backdoored variant들에 대해 다양한 challenge distribution 하에서 필요한 query 수(kmin)를 측정했으며, 통계적 검정만으로는 audit-time 모델 스위칭을 배제할 수 없다는 한계를 보완하기 위해 zkML을 결합한 프로토콜을 제안했다.

Achievement

1. Challenge distribution이 탐지력을 좌우함을 실증: pruning은 pruning rate에 따라 완만한 query-budget 스펙트럼을 보이고, quantization은 거의 즉시 탐지되며, Wikipedia·uniform challenge가 repeated-token challenge보다 훨씬 강력한 탐지력을 가짐을 보였다.
2. 적응적 responder의 취약점 노출: switching responder는 repeated-token challenge만으로는 회피 가능하지만 mixed challenge 하나로 k=1에서 즉시 탐지됨을 보여, 단일 인식 가능한 입력 패밀리에 의존하는 검증 설계의 위험성을 입증했다.
3. Backdoor 탐지 실패와 해결책 제시: backdoor responder는 모든 일반적인(ordinary) challenge distribution(Wikipedia, uniform, repeated, mixed)에서 k>64로도 탐지되지 않지만, trigger-aware probe를 사용하면 k=1에서 즉시 탐지됨을 보였다.
4. zkML-assisted 프로토콜 제안: 통계적 challenge-response test와 zero-knowledge proof를 결합하여, zk-proof가 각 응답을 커밋된 모델에 암호학적으로 결속시키고 challenge test가 해당 모델의 행동적 동치성을 통계적으로 검증하도록 분리함으로써, response fabrication과 audit-time model switching, 부분 모델 치환 공격을 방지하는 방법을 제시했다.

How

• GPT-2를 기반으로 identical copy(control), mild fine-tune, OOD fine-tune, magnitude-pruned, quantized 등 fixed variant와 distribution-aware, query-limited, switching 등 adaptive responder, 그리고 backdoor responder를 포함한 벤치마크 스위트를 구성함(Table 1).
• Wikipedia, uniform, repeated, mixed 등 일반(general) challenge distribution과 trigger, mixed+trigger 등 targeted challenge distribution을 설계하여 naturalness, entropy, predictability 축에서 서로 다른 특성을 갖도록 함(Table 2).
• 각 model pair, distribution, query budget k에 대해 8개의 random seed로 탐지 확률을 추정하고, threshold τ=0.995 기준 next-token top-1 agreement 비교를 통해 95% 탐지 확률을 달성하는 최소 query 수 kmin = min{k : Pr[reject at k] ≥ 0.95}를 산출함.
• KL divergence, total variation distance, L2 distance 등을 로짓이 available할 경우 진단적(diagnostic) 지표로 추가 기록함(accept/reject 규칙에는 미포함).
• NVIDIA H200 NVL GPU에서 실험을 수행함.

Originality

• Challenge-response 검증을 명시적으로 통계적 가설검정 프레임으로 정식화하고, 모델 fingerprinting과 zkML 사이의 중간 지점에 위치시킨 관점이 독창적이다.
• 기존 연구가 passive한 모델 변형(quantization, pruning)에 집중한 반면, 본 연구는 탐지를 능동적으로 회피하려는 adaptive/adversarial responder(distribution-aware, query-limited, switching)와 backdoor responder까지 포괄적으로 다룬 점이 새롭다.
• Challenge distribution 자체를 verifier의 설계 선택 변수로 명시적으로 다루고, naturalness·entropy·predictability라는 세 축을 따라 체계적으로 비교한 점이 독창적이다.
• 통계적 검정의 근본적 한계(audit-time model switching을 통계만으로는 배제 불가)를 인식하고 이를 zkML과 결합하여 암호학적 보장과 통계적 보장을 분리·결합한 하이브리드 프로토콜을 제안한 점이 참신하다.

Limitation & Further Study

• 실험이 GPT-2라는 비교적 작은 규모의 모델에 국한되어 있어, 실제 frontier model 규모에서 결론이 그대로 성립하는지는 검증되지 않았다.
• zkML-assisted 프로토콜은 개념적으로 제안되었을 뿐, 논문 발췌 내용상 실제 구현이나 계산 비용에 대한 정량적 평가가 충분히 제시되지 않은 것으로 보이며, 기존 zkML 기법(NanoZK, zkTorch)의 계산 비용 문제를 실제로 얼마나 완화하는지 불명확하다.
• Challenge distribution 설계가 여전히 verifier의 사전 지식에 의존하므로, 공격자가 verifier의 challenge distribution 자체를 예측하거나 새로운 방식으로 회피하는 시나리오(예: 알려지지 않은 unknown-unknown 회피 전략)에 대한 강건성은 추가 연구가 필요하다.
• 논문이 워크숍 페이퍼 형식으로 실험 세부사항과 통계적 유의성 분석(예: false positive rate 전반의 체계적 보고)이 제한적일 가능성이 있다.

Evaluation

총평: Frontier 모델 감사에서 API 기반 접근만으로는 검증 불가능한 근본적 신뢰 문제를 명확히 정식화하고, challenge distribution 설계가 탐지력의 핵심 요인임을 실증적으로 보인 흥미로운 워크숍 논문이다. GPT-2 규모의 제한된 실험이지만, adaptive/backdoor responder에 대한 체계적 분석과 zkML 결합 아이디어는 실용적 모델 감사 프로토콜 설계에 유의미한 시사점을 제공한다.