Sequential Membership Inference Attacks

Motivation

• Known: 기존 연구는 ML 모델이 학습 데이터를 memorize하여 privacy 위험을 초래함을 보였고, MI 공격을 통해 empirical한 privacy lower bound(ε)를 구하는 방법이 확립되어 있다. 또한 canary 삽입, per-step gradient 관찰 등으로 tighter auditing을 수행하는 기법들과 model snapshot 간 MI score를 결합하여 정확도를 높이는 접근(Jagielski et al., 2023)도 알려져 있다.
• Gap: 기존 sequential 접근들은 각 스냅샷에 표준 MI 공격을 독립적으로 적용한 뒤 점수를 경험적으로 결합(difference, ratio)하는 휴리스틱에 그쳤으며, likelihood ratio test에 기반한 이론적으로 최적인 SeMI 공격이나 canary 삽입 시점(τ)을 능동적 레버로 활용하는 방법은 부재했다.
• Why: 모델이 지속적으로 업데이트되는 실제 배포 환경(버전 관리된 foundation model, fine-tune, federated learning 등)에서 단일 스냅샷 감사만으로는 privacy 누출을 과소평가할 위험이 있으므로, 시퀀스 전체를 활용한 이론적으로 최적화된 감사 기법은 실질적인 privacy 보증의 신뢰성을 높이는 데 중요하다.
• Approach: Neyman-Pearson lemma에 기반한 likelihood-ratio test로 삽입 시점 τ를 파라미터로 갖는 최적 SeMI 공격(SeMI*)을 이론적으로 유도하고, 이를 (DP-)SGD 학습 환경에 맞는 실용적 white-box/black-box 공격으로 확장한다.

Achievement

Figure 5. Empirical privacy bound ˆε at ε = 8, δ = 10−4 with fixed training steps L. Higher is tighter.

1. SeMI 최적 공격 및 isolation property 발견: empirical mean 추정 문제에서 Neyman-Pearson 기반 최적 LR test SeMI를 도출하고, closed-form Type-I/II 오류를 계산했다. 이 과정에서 SeMI*의 검정력이 삽입 직전/직후 통계량에만 의존하는 isolation property를 밝혀, 시퀀스 접근이 최종 모델만 보는 것보다 근본적으로 강력함을 증명했다.
2. SeMImax, SeMIUnif 대비 SeMI 우위 입증: τ가 알려지지 않거나 균등분포로 가정되는 변형 공격들보다 τ를 정확히 아는 SeMI가 지배적임을 보였다.
3. (DP-)SGD 대상 실용적 SeMI 공격 개발: batch-gradient Gaussianity 가정 하에 SeMISGD를 제안하여 white-box(Mahalanobis-weighted gradient score)와 black-box(Loss Diff, Loss Ratio) 버전을 설계했으며, 기존 Jagielski et al. (2023)의 Back-Front, Delta 휴리스틱을 특수 경우로 포함함을 보였다.
4. 타이트한 privacy audit 프레임워크 구축: sequential mechanism에 대한 auditing을 hypothesis testing game으로 형식화하고, Type-I/II 오류의 confidence interval을 ε 하한으로 변환하는 Algorithm 2(SeMI Audit)를 제시했다.
5. Fashion-MNIST 실험을 통한 실증적 검증: DP-SGD로 학습된 softmax classifier 감사 실험에서 스냅샷 수 T 증가에 따라 하한이 개선되고, 동일 T에서 SeMISGD가 Delta, Back-Front, LiRA 등 모든 baseline보다 타이트한 bound를 산출하며, τ를 알 때와 τ 값 자체가 감사 타이트니스에 강하게 영향을 미침을 확인했다.

How

Figure 3. Comparison of sequential attacks (n = 10). (a) Power

• Sequential MI(SeMI) 게임을 정의: T개 스냅샷을 방출하는 mechanism에 대해, crafter가 확률 1/2로 canary z*를 특정 시점 τ의 batch에 삽입하고, adversary가 전체 출력 시퀀스를 관찰하여 H0(비삽입) vs Hτ_1(τ에 삽입)을 판별
• 최적 공격 SeMI*를 likelihood-ratio test로 유도하고, Gaussian empirical mean 설정에서 closed-form 오류율(α, β) 계산
• isolation property를 활용해 τ 전후 통계량만으로 log-LR을 표현 가능함을 증명
• (DP-)SGD로 확장: 배치 그래디언트의 Gaussianity 근사를 이용해 SeMISGD의 per-transition log-LR 유도
• white-box: 파라미터 업데이트와 타겟 그래디언트 간 Mahalanobis-weighted score 사용
• black-box: 타겟 손실만 관찰 가능한 상황에서 Loss Diff, Loss Ratio라는 두 가지 surrogate 통계량 제안
• privacy audit 절차(Algorithm 2)로 R회 반복 게임 수행 후 Clopper-Pearson 신뢰구간으로 α, β 상한 추정, 이를 (ε, δ)-DP 정의에 대입해 ε 하한 산출
• Fashion-MNIST 데이터셋에서 DP-SGD로 학습된 모델에 대해 SeMISGD와 baseline(LiRA, Delta, Back-Front)을 비교하는 실험 수행

Originality

• 기존 sequential MI 연구가 스냅샷별 점수를 경험적으로 결합하는 휴리스틱에 머문 반면, 본 논문은 Neyman-Pearson lemma에 기반해 이론적으로 최적인 sequential likelihood-ratio test를 최초로 유도
• 삽입 시점 τ를 canary 선택과 별개의 독립적인 공격 설계 레버로 명시적으로 정식화하고 통제한 점이 참신함
• isolation property라는 새로운 이론적 통찰을 통해 시퀀스 관찰의 이점을 정량적으로 설명(왜, 얼마나 강력한지)
• 기존 heuristic(Back-Front, Delta)을 이론적 프레임워크의 특수 사례로 통합 및 일반화

Limitation & Further Study

• 이론적 최적 공격(SeMI*)은 Gaussian mean estimation이라는 단순화된 설정에서만 closed-form으로 도출되며, 실제 (DP-)SGD로의 확장은 batch-gradient Gaussianity라는 근사 가정에 의존하므로 실제 신경망의 복잡한 loss landscape에서 이 가정의 타당성 검증이 제한적
• 실험이 Fashion-MNIST와 단순 softmax classifier에 국한되어 있어, 대규모 모델이나 실제 foundation model fine-tuning 시나리오로의 일반화 가능성은 추가 검증이 필요
• 삽입 시점 τ에 대한 강한 통제 가능성을 가정하는데, 실제 auditor가 τ를 자유롭게 선택할 수 없는 현실적 배포 환경(예: 외부 API 접근만 가능한 경우)에서의 적용성은 논의가 부족
• 향후 연구로 non-Gaussian/heavy-tailed 데이터, 다중 canary 삽입, federated learning 환경으로의 확장이 필요해 보임

Evaluation

총평: 이론적으로 탄탄한 최적 공격 유도와 실용적 (DP-)SGD 확장을 결합하여, 시퀀스 기반 privacy auditing이라는 실질적이고 시의적절한 문제에 견고한 기여를 한 우수한 논문이다. 다만 실험 범위가 제한적이어서 실세계 대규모 모델에 대한 일반화 가능성은 추가 검증이 필요하다.