How do Humans Process AI-generated Hallucination Contents: a Neuroimaging Study

Motivation

• Known: 기존 연구는 주로 모델 관점에서 hallucination의 발생 원인(훈련 데이터, 디코딩 전략 등)을 분석하거나, 탐지·완화 기법(retrieval-augmented generation 등)을 개발하는 데 집중해왔다. 또한 인간에 대한 영향 연구는 대부분 post-hoc 행동 및 명시적 판단에 기반한 사용자 연구(user study)에 그쳤다.
• Gap: 인간이 AI가 생성한 hallucination과 non-hallucination 콘텐츠를 시각적으로 처리할 때 뇌 활동 패턴이 어떻게 다른지, 그리고 hallucination 탐지가 어느 처리 단계에서 성공 또는 실패하는지에 대한 신경과학적 연구가 거의 없었다.
• Why: hallucination이 의료, 법률, 금융 등 중요한 영역에서 인간의 잘못된 의사결정을 유발할 수 있는 심각한 위험 요인이므로, 인간이 언제 어떻게 이를 놓치는지에 대한 신경인지적 메커니즘을 이해하는 것은 MLLM 안전성 및 인간-AI 상호작용 설계에 중요한 함의를 가진다.
• Approach: 27명의 참가자로부터 EEG 신호를 수집하여, Qwen2.5-VL-3B-Instruct가 생성한 이미지 설명의 정오를 판단하는 검증 과제(verification task) 수행 중 event-related potential(ERP) 분석을 실시함으로써 hallucination 인식의 신경 상관물을 규명하였다.

Achievement

Figure 2. A) Comparison of ERP waveforms elicited by different stimulus word types in the central brain region, with sha

1. hallucination vs non-hallucination ERP 차이 규명: semantic integration, inferential processing, memory retrieval, cognitive load 등 다중 인지 과정이 hallucination 단어와 non-hallucination 단어 처리 시 서로 다른 ERP 패턴(N400, P600 등)을 보임을 확인함.
2. 오판 vs 정확한 판단 시 신경 신호 차이 발견: 참가자가 hallucination을 잘못 판단한 경우와 올바르게 판단한 경우의 뇌 신호가 유의미하게 다름을 보여, 오판된 hallucination이 표준 신경인지적 사실 검증 경로(fact verification pathway)를 활성화하지 못함을 시사함.
3. EEG 기반 hallucination 예측 실험: word-level 및 sentence-level에서 EEG 신호로 콘텐츠의 hallucination 포함 여부를 예측할 수 있음을 보였으나, 인간이 오판한 사례에서는 예측 성능이 떨어짐을 확인하여 기만적인 hallucination이 신경 및 행동 수준 모두에서 인간을 속일 수 있음을 시사함.

How

Figure 1. The overall procedure of our data collection. A) The procedure of stimulus selection. B) The experimental tria

• AMBER benchmark(MSCOCO 이미지 1,004장 기반, entity/attribute/relation 세 유형의 hallucination 주석 포함)를 활용하여 Qwen2.5-VL-3B-Instruct로 이미지 설명 생성
• 수동 검증을 통해 hallucination이 포함된 60개의 image-response pair를 선별
• 27명 참가자(남 11, 여 16, 19-30세)를 대상으로 EEG 신호를 기록하며 이미지-텍스트 일치 여부를 판단하는 multi-modal QA 과제 수행
• averaged event-related potential(ERP) 분석을 통해 N100, P200, P300, N400, P600 등 시간적 단계별 신경 반응을 비교 분석
• hallucination 인식 성공/실패 여부에 따른 신경 신호 차이를 심층 분석하고, EEG 신호 기반 hallucination 예측(word-level, sentence-level) 실험 수행

Originality

• AI hallucination을 모델 중심이 아닌 인간의 신경생리학적(EEG/ERP) 관점에서 최초로 체계적으로 분석한 연구
• MLLM이 생성한 실제 hallucination 콘텐츠를 자극으로 사용하여 실험실 환경에서의 생태학적 타당성을 높임
• hallucination 인식 성공/실패에 따른 신경 신호 차이를 규명하여 "왜 인간이 그럴듯하지만 틀린 AI 콘텐츠에 속는지"에 대한 인지신경과학적 설명 제시
• EEG 신호를 활용한 hallucination 예측이라는 새로운 응용 가능성 제안

Limitation & Further Study

• 참가자 수(27명)와 hallucination 샘플 수(60개 image-response pair)가 비교적 적어 일반화 가능성에 제한이 있을 수 있음
• 단일 MLLM(Qwen2.5-VL-3B-Instruct)만을 사용하여 생성한 hallucination에 국한되어 있어 다른 모델이나 더 큰 규모의 모델에 대한 일반화 여부는 불확실함
• 참가자가 대부분 대학생 등 특정 인구집단에 편중되어 있어 연령, 교육 수준 등에 따른 개인차 분석이 부족함
• EEG의 공간 해상도 한계로 인해 구체적인 뇌 영역별 기능적 국재화(localization)에는 제약이 있을 수 있음
• 후속 연구로 다양한 MLLM, 더 큰 참가자 집단, 실제 상호작용 환경(예: 대화형 챗봇)에서의 확장 연구가 필요함

Evaluation

총평: AI hallucination 문제를 신경과학적 관점에서 최초로 조명한 독창적이고 시의적절한 연구로, ERP 분석을 통해 hallucination 인식의 신경 메커니즘에 대한 새로운 통찰을 제공하지만 샘플 규모와 단일 모델 의존성 등의 한계로 추가 검증이 필요하다.