Incentive design in sequential statistical protocols

Motivation

• Known: 기존 연구는 principal-agent hypothesis testing을 주로 one-shot 세팅에서 다루었으며(Tetenov 2016; Bates et al. 2024), 정적 threshold가 privately informed agent의 진입 여부를 어떻게 screen하는지, false-discovery guarantee나 menu design을 통한 heterogeneous type 유도 등을 분석해왔다. 또한 α-investing과 같은 online multiple-testing 방법은 과거 discovery 이력에 따라 threshold를 조정하지만 그 목적은 error control이지 전략적 effort 유인이 아니다.
• Gap: 기존 문헌은 정적(one-shot) testing threshold나, effort 없이 이질적 type만 갖는 agent를 다루었을 뿐, principal이 latent quality θ를 전혀 관측하지 못하는 상태에서 dynamic·history-dependent threshold가 agent의 costly effort 선택과 selective submission을 유도하는 continuation incentive로 작동할 수 있는지는 규명되지 않았다.
• Why: 임상시험 승인, 논문 심사, 학회 리뷰 등 실제 통계적 프로토콜은 대부분 반복적으로 운영되며 참여자의 private effort와 선택적 제출 결정에 영향을 받는데, 본 연구는 이러한 반복적·전략적 맥락에서 통계적 의사결정 규칙(hypothesis test)을 설계할 때 시간에 따른 threshold 조정이 latent quality를 직접 관측하지 않고도 사회적으로 바람직한 effort와 제출 행태를 유도하는 강력한 정책 도구가 될 수 있음을 보여, 규제기관·저널·학회의 프로토콜 설계에 실질적 함의를 준다.
• Approach: 저자들은 principal이 history-dependent p-value threshold α_t(H_t)를 사전에 commit하고 agent가 매 기 effort(work/shirk)와 opt-in/opt-out 여부를 선택하는 discounted infinite-horizon stochastic Stackelberg game을 구성하고, T=2인 단순화된 사례에서 constant policy와 승인/거부에 따라 threshold를 0으로 낮추는 alternating(timeout) policy를 비교하는 이론적 분석을 수행한다.

Achievement

1. 모델 정식화: latent quality θ를 principal이 전혀 관측하지 못하는 no-feedback 환경에서, agent의 costly effort와 opt-in 결정, principal의 history-dependent threshold α_t(H_t)로 구성된 sequential principal-agent hypothesis testing 게임을 formalize했다. 2. 효용 함수 설계: agent 효용 U와 principal 효용 V를 discount factor γ 하에서 정의하고, 게임이 Stackelberg 구조를 가져 양측 기대효용이 α만의 함수로 표현됨을 보였다. 3. T=2 사례를 통한 정리(Theorem 1): monotone-likelihood ratio 조건과 특정 기술적 조건 하에서, 승인 시 threshold를 유지하고 거부 시 두 번째 라운드 threshold를 0으로 낮추는 πalt 정책이 constant threshold 정책 πconst보다 principal의 기대효용을 엄격히 개선시키는 파라미터 영역(η, ρ)이 존재함을 증명했다. 4. 일반 T로의 확장: T=2 결과를 반복 적용하여 임의의 유한 horizon T=K에 대해서도 개선이 성립함을 귀납적으로 보였다.

How

• 문제를 Cw, Cs, ω1, ω0, R, 성공확률 s, 두 prior Q+/Q−(MLR 순서를 가짐), p-value density f1, f0=1로 파라미터화\n- 매 기 stage game을 정의: agent가 work/shirk 선택 → 성공 시 Q+, 실패 시 Q−로 quality 결정 → opt-in/opt-out 결정 → opt-in 시 θ_t 추출, p_t 관측, principal이 α_t(H_t)와 비교해 approve/deny 결정\n- 전체 게임을 discounted sum U, V로 효용화하고 Stackelberg commitment 구조로 정식화\n- T=2 특수 사례에서 Cs=0, Q+/Q−가 결정적(θ가 완전히 관측되는 것과 동일)인 단순 세팅으로 축소\n- constant policy α*를 incentive-compatibility 제약 하 principal 효용을 최대화하는 형태로 도출 (식 (1))\n- 대안 정책 πalt(승인 시 threshold 유지, 거부 시 두 번째 기 threshold를 0으로 설정)을 제안하고 agent의 best response를 A1(항상 opt-in), A2(θ=1일 때만 opt-in), B(shirk) 세 유형으로 분류\n- 각 정책 하 agent의 최적 반응과 principal의 기대효용을 비교하여 πalt가 πconst보다 우월한 파라미터 조건(η, ρ)을 도출하고, 일반 T=K에 대해 T=2 게임의 반복 구조로 결과를 확장

Originality

• one-shot principal-agent hypothesis testing 문헌(Tetenov 2016; Bates et al. 2024; Shi et al. 2024/2025; Chen et al. 2025)을 sequential/dynamic 세팅으로 확장하고, agent에게 costly effort라는 새로운 결정 변수를 부여
• α-investing 등 online multiple testing의 history-dependent threshold 갱신 아이디어를 error control이 아닌 전략적 incentive 설계 목적으로 재해석
• reputation/dynamic moral hazard 문헌의 continuation-value를 이용한 규율 메커니즘을, principal이 latent state를 전혀 관측하지 못하는 통계적 testing threshold라는 특수 구조에 적용
• timeout policy(거부 시 threshold를 0으로 낮추는 정책)라는 구체적이고 해석 가능한 정책 도구를 제시하여 future access to testing이 direct observation을 대체할 수 있음을 증명

Limitation & Further Study

• 핵심 정리(Theorem 1)가 T=2라는 매우 단순화된 사례와 Q+/Q−가 결정적(deterministic)인 특수 경우에 한정되어 있어, 일반적인 prior 분포나 다기간 설정에서의 최적성은 충분히 다루지 않음
• 제시된 개선은 특정 파라미터 영역(η≥η̄, ρ<ρ̄(η))에서만 성립하는 존재성 결과이며, 최적 정책의 전반적 특성화나 infinite-horizon 최적 정책의 명시적 형태는 제공되지 않음
• agent의 effort 성공확률 s, 비용 Cw/Cs 등이 principal에게 알려진 common knowledge로 가정되어 있어, 실제 정보 비대칭이 더 큰 상황에 대한 일반화가 필요
• 본문 발췌에는 무한 horizon discounted timeout policy 분석의 구체적 결과(증명, 수치 예시, figure)가 생략되어 있어 실증적/시각적 뒷받침이 부족해 보이며, 후속 연구에서 다기간·연속 상태공간으로의 확장과 최적 정책의 일반적 특성화가 필요

Evaluation

총평: latent quality를 전혀 관측하지 못하는 principal이 history-dependent threshold만으로 agent의 effort와 selective submission을 유도할 수 있다는 통찰은 이론적으로 흥미롭고 실무적 함의가 크지만, 제시된 이론적 증명이 T=2 등 단순화된 사례에 국한되어 있어 일반성과 완전성 면에서 추가 검증이 필요하다.