Optimizing Social Utility in Sequential Experiments

Motivation

• Known: 기존 연구는 규제 승인 과정을 principal-agent game으로 모델링하여 approval rule이나 hypothesis test를 설계하는 데 초점을 맞추었으며(Bates et al., 2022; Shi et al., 2024; Hossain et al., 2025), e-value 기반 anytime-valid inference와 Bayesian experimental design을 (PO)MDP로 모델링하는 연구도 존재한다.
• Gap: 기존 연구들은 단일 RCT에서의 approval rule이나 payment rule 설계, 혹은 정보 획득과 실험 비용의 트레이드오프에 초점을 맞추었을 뿐, 순차적으로 진행되는 RCT를 principal이 부분적으로 보조금을 지급하며 사회적 효용을 최적화하는 문제는 다루지 않았다.
• Why: 고비용 RCT는 효능에 대한 절대적 확신이 없는 개발자가 사회적으로 유용할 수 있는 'moonshot' 제품 개발을 포기하게 만드는 비효율을 야기하는데, 이를 해결할 수 있는 보조금 설계 방법론은 항생제 개발과 같은 공중보건 분야에서 실질적인 사회적 효용 증대로 이어질 수 있다.
• Approach: 저자들은 순차적 RCT 승인 과정을 belief MDP로 정식화하고, agent의 최적 전략은 dynamic programming으로, 사회적 효용을 극대화하는 principal의 최적 보조금 수준은 이 함수가 subsidy에 대해 piecewise linear하고 convex하다는 성질을 이용해 divide-and-conquer로 효율적으로 탐색한다.

Achievement

Figure 1. Subsidizing antibiotic development. The figure shows the results of the approval process for an antibiotic wit

1. 순차적 보조금 프로토콜 제안: agent가 순차적으로 RCT를 수행하고 principal이 비용의 일부를 보조하는 통계적 프로토콜을 정식화함.
2. belief MDP 기반 최적 전략 도출: agent의 정책 결정 문제를 belief MDP로 모델링하고 dynamic programming을 통해 효율적으로 최적 정책을 계산 가능함을 증명함.
3. 사회적 효용의 구조적 성질 규명: 사회적 효용이 보조금 수준에 대해 piecewise linear하고 convex함을 보이고, 이를 이용해 divide-and-conquer 알고리즘으로 사회적으로 최적인 보조금을 효율적으로 계산함.
4. 실증적 검증: 공개된 항생제 개발·승인 데이터를 이용한 시뮬레이션 실험에서 제안 프로토콜이 기존의 non-sequential 프로토콜 대비 사회적 효용을 35% 이상 증가시킴을 보임.

How

Figure 3. Illustration of the geometry of the state space in the MDP Mε.

• agent는 사전 믿음 Beta(α0, β0)에서 시작하여 각 시점 t마다 표본 크기 nt를 선택해 RCT를 수행하거나(비용 c(nt) 발생) 승인 절차를 중단할 수 있음.
• 실험 결과 Xt ~ Bin(nt, θ*)를 관측하면 agent와 principal 모두 베이지안 방식으로 믿음을 Beta(αt+Xt, βt+nt-Xt)로 업데이트함.
• principal은 H0: θ<θb 대 H1: θ≥θb의 순차적 가설검정을 수행하며 e-value 기반의 anytime-valid 방법으로 false positive rate를 통제함.
• 이 전체 과정을 belief MDP로 정식화하여 상태공간(믿음, 누적비용, 시간)에 대해 dynamic programming으로 agent의 최적 정책을 계산함.
• principal의 보조금 수준에 따른 사회적 효용 함수의 piecewise linear/convex 구조를 규명하고, 이를 이용해 divide-and-conquer로 최적 보조금을 탐색함.
• 항생제 개발·승인에 관한 공개 데이터를 사용한 시뮬레이션으로 프로토콜의 효과를 검증함.

Originality

• 기존의 단일 단계(single-shot) approval game 프레임워크를 순차적(sequential) RCT 상황으로 확장하고, 보조금(subsidy)이라는 새로운 principal의 개입 수단을 도입한 점이 독창적임.
• belief MDP와 e-value 기반 anytime-valid 통계적 추론을 결합하여 agent의 전략적 행동과 principal의 통계적 오류 통제를 동시에 다루는 통합 프레임워크를 제시함.
• 사회적 효용 함수가 subsidy 수준에 대해 piecewise linear·convex하다는 이론적 성질을 규명하여, 단순 탐색이 아닌 divide-and-conquer 기반의 효율적 최적화가 가능함을 보인 점이 새로움.

Limitation & Further Study

• 효능(efficacy) 단일 파라미터 θ*만을 고려하는 단순화된 모델이며, 안전성 등 다차원적 속성을 고려하는 확장은 부록에서 간략히만 다뤄짐.
• 시뮬레이션이 항생제 개발이라는 특정 도메인의 공개 데이터에 기반하므로, 다른 고위험 도메인(예: 희귀질환 치료제, 의료기기 등)에 대한 일반화 가능성은 추가 검증이 필요함.
• agent가 자신의 효능에 대해 principal과 동일한 사전 믿음을 공유하고 정직하게 행동한다는 가정이 실제 전략적 행위자의 정보 비대칭이나 조작 가능성을 충분히 반영하지 못할 수 있음.
• 향후 연구로 다수의 agent가 경쟁하거나 principal의 예산 제약이 존재하는 다자간·동적 시장 환경으로의 확장이 필요함.

Evaluation

총평: 규제 승인과 실험 설계의 경제학적 상호작용을 belief MDP와 e-value 기반 통계이론으로 정교하게 통합한 이론적으로 탄탄한 연구이며, 실제 항생제 데이터로 실용적 효용을 입증한 점이 인상적이다.