/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/185_Can_large_language_models_understand_you_better_an_mbti_pers

Motivation

• Known: MBTI는 텍스트로부터 개인의 성격 유형을 자동으로 추론하는 task로 stance detection 등 다양한 분야에 응용되어 왔으며, Kaggle, PANDORA, Twitter 등 self-reported label 기반의 데이터셋들이 널리 사용되어 왔다.
• Gap: 기존 데이터셋은 (1) self-reported label의 부정확성으로 인한 incorrect labeling 문제와 (2) hard label만 사용함으로써 population의 실제 성격 분포(비극단적 성향이 다수)를 반영하지 못하는 두 가지 근본적 한계를 가지고 있다.
• Why: MBTI 성격 탐지가 실제 population의 성격 분포와 정렬되지 않은 채 지나치게 낙관적으로 평가되고 있다는 문제를 최초로 제기하고, 이를 해결하기 위한 고품질 데이터셋과 soft label 방법론을 제공함으로써 향후 LLM 기반 심리 진단 연구의 신뢰성을 높이는 데 기여한다.
• Approach: data filtering guideline과 annotation guideline을 수립하여 기존 데이터셋의 label leakage 및 useless noise를 제거하고 심리학 전문가 감수 하에 재주석하며, sample의 polarity tendency를 추정하여 soft label을 도출하는 방식으로 MBTIBENCH를 구축한다.

Achievement

1. MBTIBENCH 데이터셋 구축: 심리학 전문가 감수 하에 수동으로 재주석한 최초의 고품질 soft-labeled MBTI 성격 탐지 데이터셋을 구축했다.
2. Incorrect labeling 문제 해결: 기존 데이터의 29.58%에 해당하는 잘못된 라벨링 문제를 필터링 및 재주석 가이드라인을 통해 효과적으로 해결했다.
3. Soft label 추정 방법론 제시: sample의 polarity tendency를 도출하여 population 내 비극단적 성격 성향을 가진 사람이 더 많다는 심리학적 관점을 실증적으로 확인했다.
4. LLM 평가 및 편향 규명: 6개의 LLM과 4가지 prompting 방법을 평가하여 극단적(polarized) 예측 경향과 편향을 발견하고, soft label이 hard label보다 다른 심리학적 task에 더 유용함을 확인했다.

How

MBTIBENCH construction workflow.

• Label leakage를 Direct Personality Leakage, Personality Trait Leakage, Cross-Theory Trait Leakage 3가지 유형으로 분류하여 필터링 가이드라인 수립
• Useless noise 제거 가이드라인 별도 수립
• 숙련된 annotator를 대상으로 trial annotation 및 guideline 이해 단계를 거쳐 formal annotation 진행
• 전문가(psychologists)의 human recheck를 통한 품질 보증(quality assurance) 절차 도입
• 재주석된 hard label로부터 polarity tendency를 산출하여 [0,1] 구간의 continual soft label(E/S/T/J 극성 정도)을 추정
• 6개 LLM과 4개 prompting 방법으로 MBTIBENCH에 대한 실험적 평가 수행

Originality

• MBTI 성격 탐지 task가 population의 실제 성격 분포와 불일치한다는 근본적 문제를 최초로 제기
• label leakage 및 noise에 대한 체계적 data filtering guideline을 최초로 제시
• 심리학 전문가가 참여하는 수동 재주석 절차를 통해 soft label을 갖춘 최초의 MBTI 데이터셋(MBTIBENCH) 구축
• hard label 대신 population 분포를 반영하는 soft label 추정 방법론 제안

Limitation & Further Study

• soft label 추정이 재주석된 hard label의 polarity tendency에 기반하므로, 추정 방식 자체의 타당성 검증(예: 실제 심리 검사와의 상관관계)이 추가로 필요함
• 세 개의 기존 소셜미디어 데이터셋(Kaggle, PANDORA, Twitter)에 국한되어 있어 다른 문화권/언어의 일반화 가능성에 대한 검증이 부족함
• LLM의 polarized prediction과 bias 문제에 대한 구체적 완화 방법론은 후속 연구로 남겨짐

Evaluation

총평: MBTI 성격 탐지 분야에서 데이터 품질과 라벨링 방식의 근본적 문제를 제기하고 이를 해결하기 위한 정교한 데이터셋 구축 방법론을 제시한 견고한 연구로, LLM 기반 심리 진단 연구에 중요한 이정표를 제공한다.