Language agents mirror human causal reasoning biases

Motivation

• Known: 언어 모델은 자연언어 처리와 로봇 제어 등에서 뛰어난 성능을 보이고 있으며, LM 에이전트는 항생제 설계, 학술지 논문 작성 등 실무적 적용이 확대되고 있음
• Gap: LM 에이전트가 인과관계(causal relationships)를 효율적으로 탐색하고 추론할 수 있는지, 그리고 체계적 편향을 갖고 있는지 불명확함. 특히 인간 훈련 데이터로부터 학습한 LM이 인간의 인지 편향을 상속받았는지 알려지지 않음
• Why: 자율 의사결정 에이전트는 과학적으로 견고한 인과추론 능력이 필수적이나, 심리학 연구에서 인간도 특정 상황에서 체계적으로 비합리적임이 알려져 있음
• Approach: 발달심리학의 블리켓 테스트(Blicket Test) 패러다임을 텍스트 기반 게임으로 적응시켜, 다양한 LM들의 인과추론 능력과 편향을 측정하고 인간 데이터와 비교

Achievement

다양한 언어 모델들의 선언적/결합적 규칙에서의 정확도: 모든 모델이 결합적 규칙에서 체계적으로 낮은 성능 보임

1. 선언적 편향 발견: 모든 LM 모델군(GPT-4o, DeepSeek, Gemma 등)이 결합적 규칙보다 선언적 규칙에서 신뢰성 높게 더 나은 성능을 보임. 이는 옳은 탐색 데이터가 주어져도 나타나는 현상으로, 순수한 탐색 비효율의 문제가 아님
2. 인간과 유사한 편향 패턴: LM의 추론 프로필이 인간 성인의 패턴과 유사하지만 유아/어린이의 패턴(편향 없는 "요람 속의 과학자")과는 다름을 정량적으로 입증
3. 복합 인과요인: 정보 이득(information gain)과 정확도 간 강한 상관관계(ρ=0.76)를 발견했으나, 동일한 정보 수집 후에도 모델이 결합적 가설을 제거하지 못함
4. 확장성 있는 개선방법: 테스트 타임 샘플링을 통해 명시적으로 인과 가설을 샘플링하고 제거하도록 프롬프팅하면 선언적 편향이 유의미하게 감소

How

모델 성능에 영향을 미치는 요소들: 정보 이득이 가장 강한 양의 상관(ρ=0.76), 탐색 단계 수는 음의 상관(ρ=-0.35)

• 텍스트 기반 블리켓 테스트: 에이전트는 순차적으로 객체를 기계에 올렸다 내렸다 하면서 상태 변화를 관찰하고, 탐색 단계 이후 모든 관찰 이력을 제공받아 각 객체의 블리켓 여부를 판단
• 정보이득 측정: Shannon 엔트로피 기반 기댓값 정보이득(expected information gain)을 계산하여 최적 탐색 행동 정의. 오라클 에이전트는 한 단계 정보 최대화로 상한선 제시
• 다양한 모델 평가: GPT-4o, DeepSeek-Reasoner/Chat, Gemma 3, QWQ 등 여러 모델군 및 시스템 메시지, CoT/ReAct/Reflexion 같은 프롬프팅 기법으로 로버스트 검증
• 가설 제거 방법(Hypothesis Elimination): 명시적으로 가능한 인과 가설들의 평면적 사전분포(flat prior)를 구성하고, 각 가설을 의도적으로 제거하도록 유도하는 테스트-타임 절차

Originality

• 발달심리학 패러다임(블리켓 테스트)을 LM 에이전트 평가에 처음 적용하여, 인공지능의 인과추론 편향을 체계적으로 측정
• 인간 성인과 LM 간의 정량적 비교를 통해 "모델이 훈련 데이터의 인간 편향을 상속한다"는 가설을 실증적으로 검증
• 선언적 편향이 탐색 전략 부족이 아닌 근본적 추론 편향임을 보여줌으로써, 단순한 프롬프팅 개선을 넘어 인과추론의 본질적 문제를 지적
• 정보이득 최적화와 실제 모델 성능 간의 간극을 측정하고, 이를 해결하는 가설 제거 기반의 구성적 방법 제시

Limitation & Further Study

• 태스크 단순성: 블리켓 테스트는 제한된 인과구조(2가지 규칙만)만 다루며, 현실의 복잡한 인과 관계(시간적 지연, 숨겨진 변수, 다중 상호작용 등)는 포함하지 않음
• 프롬프트 의존성: 다양한 시스템 메시지와 프롬프팅 기법을 시도했으나, 개별 최적화된 프롬프트에 대한 "금은 총알(silver bullet)" 존재 여부는 미해결
• 확장성 검증: 제안된 가설 제거 방법이 더 복잡한 인과 구조와 더 많은 객체(>8)에서 어느 정도로 스케일되는지 실험이 제한적
• 인간 비교의 깊이: 성인과 유아 간 성능 비교는 데이터 수준이지만, 선언적 편향의 심리학적 근원(예: 언어 구조, 선험적 개념 등)에 대한 이론적 분석 부재
• 인과 발견 일반화: 블리켓 테스트 외 다른 인과 추론 패러다임(예: 중재 실험, 관측 데이터 분석)에서 유사한 편향이 나타나는지 미검증

Evaluation

총평: 본 논문은 발달심리학 패러다임을 AI 평가에 창의적으로 적용하여 LM이 인간의 인과추론 편향을 상속한다는 새로운 통찰을 제시하고, 테스트 타임 샘플링을 통한 구성적 개선 방법을 제안한 점에서 학술적 기여가 있습니다. 다만 단순화된 블리켓 테스트만을 사용하고 더 복잡한 인과구조로의 확장성이 미검증되며, 심리학적 근원에 대한 이론적 분석이 부재하여 실용적·이론적 확장성에는 한계가 있습니다.