/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/200_Chartist_Task-driven_Eye_Movement_Control_for_Chart_Reading

Motivation

• Known: 기존 정보시각화 연구는 eye tracking을 통해 시각 주의(visual attention)와 scanpath를 분석해 왔으며, bottom-up 기반의 free-viewing saliency 모델들이 주로 개발되어 왔다. 또한 task에 따라 사람들이 차트의 서로 다른 영역을 관찰한다는 것이 실증 연구를 통해 알려져 있다.
• Gap: 기존의 scanpath 예측 모델들은 대부분 free-viewing(bottom-up) 상황에 국한되어 있으며, task-driven saliency를 예측하는 최근 연구조차 시간적 순서(fixation order)와 개인별 scanpath를 포착하지 못해, 특정 task 수행 시 실제 scanpath가 어떻게 나타나는지는 여전히 밝혀지지 않았다.
• Why: 차트 읽기에 대한 task-driven scanpath를 예측할 수 있다면, explainable AI, 시각화 디자인 평가 및 최적화 등에서 비용이 많이 드는 실제 eye tracking 실험 없이도 사용자 성능을 추정할 수 있어 HCI와 정보시각화 연구 및 실무에 실질적인 도움을 줄 수 있다.
• Approach: 인간의 계층적 의사결정 구조에서 착안하여, LLM이 task를 이해하고 하위 목표(subtask)를 선택하는 고수준 인지 controller와, 각 subtask에 대해 RL로 학습된 저수준 안구운동 controller가 픽셀 단위로 시선을 이동시키는 2단계 계층적 제어 구조(hierarchical control architecture)를 제안한다.

Achievement

We present Chartist, a computational model that can predict task-driven human scanpaths on charts. The figure

1. Chartist 모델 제안: 차트에서 task-driven scanpath를 예측하는 최초의 계산 모델을 제시함.
2. 계층적 제어 구조 설계: LLM 기반 인지 controller와 RL 기반 안구운동 controller를 결합한 hierarchical control architecture를 통해 인간의 눈 데이터 없이도 학습이 가능함을 보임.
3. task 분석 및 데이터 기반 설계: retrieve value, filter, find extreme의 세 가지 대표적 분석 task에 대한 인간 scanpath 데이터를 분석하여 모델 설계에 반영함.
4. 정량적 평가: 최신 general scanpath 모델, VQA scanpath 모델, free-viewing 차트 scanpath 모델과 비교하여 Chartist가 인간 scanpath와 가장 유사한 결과를 보임을 입증함.

How

An overview of the hierarchical eye-movement control architecture. When presented with a chart and a task, a

• 차트 이미지와 분석 task 문장을 입력으로 받아, 고수준 인지 controller(LLM)가 지금까지 습득한 정보를 이해하고 다음 subtask(목표)를 선택
• 저수준 안구운동 controller들은 각 subtask(operation)별로 deep RL 기반 sampling policy를 통해 학습되어, 픽셀 단위로 시선을 이동하고 foveal vision 영역에서 정보를 획득
• 인간 eye tracking 데이터를 직접 지도학습에 사용하지 않고, RL을 통해 각 operation에 대한 안구운동 정책을 독립적으로 학습시켜 아키텍처의 훈련을 인간 gaze data 의존 없이 수행
• 모델 예측과 인간 scanpath 간 scanpath-level 유사도를 baseline 모델들(general scanpath 예측, VQA scanpath 예측, free-viewing 차트 scanpath 예측)과 비교 평가
• gaze 행동의 summary statistic(예: fixation 수, 지속시간 등)을 분석하여 인간과의 행동적 유사성을 검증

Originality

• 기존 free-viewing 중심의 saliency/scanpath 모델과 달리 task(분석 목적)에 따라 달라지는 scanpath를 명시적으로 모델링한 최초의 시도
• 인지과학의 계층적 의사결정 이론과 기계학습의 hierarchical control 기법을 결합하여 안구운동 제어에 적용한 novel architecture
• LLM을 고수준 인지 판단(정보 이해 및 subtask 선택)에, RL을 저수준 감각운동 제어(fixation 이동)에 각각 역할 분담시켜 결합한 hybrid 설계
• 자연영상 기반 goal-driven visual search 모델과 달리, 통계 차트에서의 고차원 추론(reasoning)이 필요한 분석 task를 다룸

Limitation & Further Study

• 저자들 스스로 모델의 일반화 가능성(generalizability)과 정확도 측면에서 한계가 있음을 인정함
• 통계 차트 및 세 가지 분석 task(retrieve value, filter, find extreme)에 국한되어 있어, 더 복잡한 시각화 유형이나 task로의 확장이 필요함
• LLM 기반 인지 controller의 판단 과정이 실제 인간 인지 과정과 얼마나 부합하는지에 대한 심층 검증이 부족할 수 있음
• 향후 연구로 더 다양한 차트 유형, 복합적 분석 task, 개인차(individual differences)를 반영한 모델 확장이 필요함

Evaluation

총평: task-driven chart scanpath 예측이라는 새로운 문제를 제기하고 LLM과 RL을 결합한 참신한 계층적 아키텍처로 이를 해결한 의미 있는 연구이나, 일반화 가능성과 정확도 면에서 추가 검증이 필요한 초기 단계의 모델이다.