Sticks and Stones: Positive vs. Negative Emotional Prompt Framings

Motivation

• Known: EmotionPrompt는 프롬프트에 정서적 문구를 추가하면 정확도가 8–115% 향상된다고 보고했으나, 13–20개의 소규모 아이템으로 추정된 결과였고 이후 Vaugrante et al.의 재현 시도에서는 유의한 차이가 발견되지 않았다. 한편 sycophancy 계정(긍정이 정확도를 해친다)과 stress-degradation 계정(부정이 정확도를 해친다)이라는 상반된 이론이 존재한다.
• Gap: 기존 연구들은 표본 크기가 50개 미만인 셀, 사전등록 가설 부재, item 난이도를 통제하지 않는 between-subjects 설계라는 방법론적 한계를 공유하며, 긍정과 부정 정서 프레이밍을 직접 비교하고 두 경쟁 이론(sycophancy vs. stress-degradation)을 구별할 만큼 충분히 검정력을 갖춘 연구는 존재하지 않았다.
• Why: LLM 행동 관련 주장들이 소규모·비통제 평가에 기반해 문헌에 축적되고 있으며, 이런 취약한 근거가 실무 지침(prompt engineering survey 등)으로 계속 인용되고 있어, 적절히 검정력을 갖춘 재검증이 학계 신뢰성에 중요한 의미를 가진다.
• Approach: 다섯 개의 2026년 frontier LLM과 네 개의 reasoning/STEM benchmark에 대해 긍정·부정·중립 프레이밍을 세 가지 강도 수준으로 조작한 within-subjects factorial 실험을 사전등록 가설과 함께 설계하고, pooled t-test, paired within-subjects test, linear mixed-effects model 세 가지 독립적 분석 방법으로 삼각검증한다.

Achievement

1. 강력한 null 결과 확립: 중립 baseline 88.9%에서 긍정과 부정 프레이밍은 구별 불가능(+0.04pp, p=0.91, 95% CI [-0.34, +0.42]pp, Cohen's d≈0.001)하며, 이는 sycophancy와 stress-degradation 문헌이 보고하는 2–5pp 규모의 비대칭성을 배제할 만큼 정밀하다.
2. 원 연구 주장의 실패 재현: EmotionPrompt의 8–115% 효과 주장이 200–1,319개 item/cell 및 within-subjects pairing을 갖춘 설계에서는 재현되지 않음을 보였다.
3. 대안 메커니즘(task-irrelevant distraction) 지지: 사후적이지만 비정서적 distractor control 실험을 통해 정서적 내용이 특별한 것이 아니라 단순히 task와 무관한 주의분산 요소로 작동함을 시사하는 증거를 제시했다.
4. 방법론적 모범 사례 제시: item-level ICC=0.51, 1pp 효과에 대해 99% 이상의 power를 갖춘 사전등록·within-subjects·삼각검증 설계를 LLM 행동 연구에 적용한 사례를 제공했다.

How

• 5개 frontier LLM(Claude Sonnet 4.6, Claude Haiku 4.5, Qwen3-80B, Amazon Nova Pro, Gemma 3-27B) × 4개 benchmark(GSM8K, CommonsenseQA, ARC-Challenge, MMLU-STEM) × 7개 프롬프트 조건(중립 1, 긍정 3강도, 부정 3강도)의 within-subjects factorial 설계로 28,000 trial 수집
• 각 task item을 모든 조건과 모든 모델에 적용하여 item-level 분산을 상쇄(item ICC=0.51), α=0.05에서 1pp 차이 검출력 99% 이상 확보
• 4개의 사전등록 가설(H1: 긍정>중립, H2: 부정<중립, H3: 긍정 vs 부정 직접비교, H4: 사회적 추론 과제에서 효과 더 큼) 설정
• pooled t-test, paired within-subjects test, item·model 수준 random intercept를 포함한 linear mixed-effects model 세 가지 독립적 통계 방법으로 H3 대비를 삼각검증
• 200개 stratified item/dataset을 사용하되, 상위 2개 모델에 대해 CSQA/GSM8K 전체 test split으로 사전등록된 robustness run을 추가 수행
• format, 길이, 프레젠테이션 등 confound를 명시적으로 통제하기 위해 조건별 2–3개의 의미상 동등한 템플릿 변형을 round-robin 방식으로 순환
• 주 null 결과 관찰 후 탐색적으로 비정서적 distractor control 실험 및 2024년 모델 대상 temporal comparison 실험(6,300 trial) 추가 수행

Originality

• 기존 EmotionPrompt 재현 연구들이 단순히 효과의 유무만 검증한 것과 달리, 긍정 vs. 부정 프레이밍이라는 직접적 대비를 통해 sycophancy와 stress-degradation이라는 두 경쟁 메커니즘 이론을 동시에 검증 가능한 형태로 설계한 점이 독창적이다.
• 세 가지 독립적 통계 분석 방법(pooled t-test, paired test, linear mixed-effects)을 삼각검증하여 point estimate의 수렴을 명시적으로 보여주는 방법론적 엄밀성이 돋보인다.
• 사전등록 가설과 within-subjects pairing, item-level ICC 보고, 사후 탐색 분석과 사전등록 분석을 명확히 구분하는 투명한 보고 관행을 LLM 행동 연구 분야에 도입했다.

Limitation & Further Study

• distractor control 실험이 주 null 결과를 관찰한 이후 추가된 탐색적(exploratory) 분석이라는 점에서, task-irrelevant-distraction 메커니즘에 대한 결론은 확증적이라기보다 시사적 수준에 머문다.
• 중립 대비 정서적 프레이밍의 전반적 성능 저하(1.3–1.4pp)가 raw p는 유의하지만 Holm-adjusted p는 유의성을 상실하여, family-wise correction 이후에는 결론이 약화된다.
• 200개의 stratified item을 사용한 subsampling이 전체 test split의 특성을 완전히 대표하지 못할 가능성이 있으며, 일부 모델·데이터셋 조합에 대해서만 full-split robustness가 검증되었다.
• 후속 연구로는 더 다양한 모델 아키텍처와 태스크 도메인(예: 코드 생성, 멀티턴 대화)에 대한 확장, 그리고 distraction 메커니즘을 직접 검증하는 사전등록 실험 설계가 필요하다.

Evaluation

총평: 대규모·사전등록·within-subjects 설계와 삼중 통계 삼각검증을 통해 널리 인용되는 EmotionPrompt 주장의 취약성을 명확히 드러낸 모범적인 방법론 연구로, LLM 행동 연구 커뮤니티에 통계적 엄밀성의 기준을 제시하는 중요한 기여를 한다. 다만 핵심 발견은 대체로 null 결과이며 실용적 함의(어떤 개입이 효과적인가)에 대한 새로운 긍정적 지침은 제한적이다.