Three Tests for an Adoption-Aware Crop Recommender: Sensitivity, Permutation, Placebo

Motivation

• Known: Expected Realized Benefit(ERB) 목적함수는 예측된 yield gain과 예측된 adoption probability의 곱으로 정의되어 accuracy-only 정책보다 현실적인 정책 비교 기준으로 여겨져 왔으며, direct-method estimator(수확량 예측·채택 예측을 결합)는 IPS나 doubly-robust 방법이 요구하는 propensity 추정 없이도 관측 패널 데이터에서 정책을 평가하는 표준적 대안으로 사용되어 왔다.
• Gap: Direct-method estimator는 unmeasured confounding에 대한 내재적 보호 장치가 없고, observational offline-policy ML 문헌에는 이런 claim들을 사후적으로 검증하는 표준 검정 절차가 부재하다는 것이 이 논문이 지적하는 공백이다.
• Why: 농업경제학·정책평가 분야에서 흔히 보고되는 형평성 타겟팅(equity-targeting) 서사가 실제로는 통계적으로 뒷받침되지 않을 수 있음을 보여줌으로써, observational offline-policy ML 논문들이 aggregate effect와 subgroup-level claim을 구분하지 않고 과잉 해석할 위험을 경고하는 방법론적 기여를 한다.
• Approach: 세 가지 고전적 검정(Rosenbaum signed-rank sensitivity, sign-exchangeable permutation test, stratified label-shuffle placebo)을 하나의 adoption-aware crop recommender 사례에 순차적으로 적용하여 aggregate claim과 subgroup claim의 강건성을 서로 다른 실패 모드에 대해 각각 검증한다.

Achievement

1. Aggregate ERB lift의 강건성 입증: +50 kg/ha의 ERB lift(bootstrap 95% CI [+24, +74], n=800 EA-disjoint test plots)가 모든 education subgroup에서 Rosenbaum Γ⋆≥5를 통과하고 permutation test에서 p<10⁻³를 통과함을 보였다.
2. 형평성 타겟팅 해석의 반박: 발표된 교육수준별 subgroup 패턴(무학력 계층에서 가장 큰 lift)이 stratified label-shuffle placebo 분포 내부에 위치(p∈[0.14, 0.87])함을 밝혀, 해당 subgroup 결과가 education-specific targeting의 증거가 아니라 descriptive concentration일 가능성을 제시했다.
3. Cluster-robust 검증: EA-level 재표본추출과 sign-flip으로도 결론(+50 kg/ha, 95% CI [+33, +70], p<5×10⁻⁴)이 유지됨을 확인해 plot 간 clustering이 결과를 왜곡하지 않음을 보였다.
4. External calibration 점검: Duflo et al. Kenya SAFI 실험 데이터와의 비교를 통해 adoption head가 out-of-distribution action에서 약 50 percentage-point의 절대 calibration gap을 가짐을 밝혀 magnitude claim의 한계를 명시했다.

How

• Recommender architecture: yield head(ˆf)는 Gamma loss 기반 histogram gradient-boosting regressor에 문헌 기반 linear response component(작물별 fertilizer-response coefficient, improved-seed multiplier)를 결합한 hybrid model이며, Mondrian-by-crop split-conformal regression으로 90% nominal coverage(실측 88.7%) interval을 부여한다. adoption head(ˆg)는 logistic baseline propensity에 tier별 log-odds penalty(T0~T4, 비단조적)를 적용하고 Mondrian-isotonic recalibration을 education quintile별로 수행한다.
• 정책 비교: argmax-ERB(adoption-aware)와 argmax-yield(accuracy-only) 정책을 800개 EA-disjoint test plots에서 비교하며, matched-pair difference di = ΔERB(aware) − ΔERB(acc)를 동일한 calibrated head를 통해 산출해 head-level miscalibration을 상쇄시킨다.
• Rosenbaum signed-rank sensitivity: 매칭쌍 차이에 대해 signed-rank statistic을 계산하고, H1: d̄>0의 one-sided p-value가 0.05 미만으로 유지되는 최대 odds-ratio Γ⋆를 보고하며, disagreement plot만 사용하고 adoption head 자체를 교란시켜 견고성을 재확인한다.
• Sign-exchangeable permutation test: di의 부호를 무작위로 뒤집는 B=2,000회 반복으로 null 분포를 생성해 관측된 d̄의 two-sided p-value를 계산하고, EA-level clustering을 반영한 버전도 별도로 수행한다.
• Stratified label-shuffle placebo: di는 고정한 채 household-head education-quintile label을 marginal subgroup size를 보존하는 stratified shuffle로 B=2,000회 재배치하여 subgroup mean의 placebo 분포를 생성하고, 실제 subgroup mean이 해당 분포 내 어디에 위치하는지 two-sided p-value로 평가한다.

Originality

• 각 검정 자체(Rosenbaum sensitivity, permutation test, placebo test)는 새로운 방법론이 아니라 통계학·계량경제학·관찰적 인과추론 문헌에서 수십 년간 사용되어 온 고전적 도구들이다.
• 독창성은 새로운 검정 개발이 아니라, observational offline-policy ML(특히 direct-method 기반 추천 시스템) 맥락에 이 세 검정을 체계적으로 결합 적용하여 aggregate claim과 subgroup claim을 분리 검증하는 practice로서의 기여에 있다.
• shared-head cancellation, disagreement-plot-only Γ⋆ 계산, EA-level clustering 보정 등 기존 검정을 policy-comparison 맥락에 맞게 재해석하고 scope를 명확히 규정한 점이 실용적 기여로 볼 수 있다.

Limitation & Further Study

• Rosenbaum bound는 원래 direct causal effect on yield를 위한 것인데, 본 논문에서는 model-based contrast(두 정책 간 차이)에 적용되므로 해석 범위가 더 좁고, 이 재해석이 완전히 표준적으로 정당화되었는지는 추가 논의가 필요하다.
• Placebo test에서 p>0.05가 형평성 타겟팅의 부재를 "입증"하는 것이 아니라 단지 귀무가설을 기각하지 못한 것일 뿐이라는 점을 저자도 인정하며, 통계적 검정력(power) 분석이 부재해 negative 결과의 신뢰도가 불명확하다.
• Adoption head의 out-of-distribution calibration gap(~50pp)이 상당히 크다는 점은 ERB 추정치 자체의 절대적 정확성에 근본적 의문을 남기며, 이는 aggregate lift의 magnitude 해석에도 영향을 줄 수 있으나 본문에서는 부호(sign)만 보존됨을 확인하는 데 그친다.
• 단일 recommender, 단일 데이터셋(Ethiopia LSMS)에 대한 사례 연구이므로 세 검정의 조합이 다른 도메인이나 다른 offline-policy 문제에도 일반화되는지는 검증되지 않았다.
• 후속 연구로는 within-EA cluster를 보존하는 더 엄격한 placebo shuffle, 다양한 propensity 모델에 대한 sensitivity 재현, 그리고 세 검정을 표준 벤치마크로 정립하기 위한 커뮤니티 차원의 프로토콜화가 필요하다.

Evaluation

총평: 새로운 통계적 방법을 제안하지는 않지만, 기존의 검증된 세 가지 고전적 검정을 실제 observational offline-policy ML 사례에 적용하여 발표 가능한 형평성 서사가 실제로는 통계적 근거가 약함을 실증적으로 보여준 견실하고 시의적절한 방법론적 경고 논문이다.