Automating psychological hypothesis generation with AI: when large language models meet causal graph

Motivation

Known: 심리학 연구는 전통적으로 이론 중심의 방법론에 의존해왔으며, 가설 생성은 연구자의 창의성과 기존 이론 틀 내에서 수행된다. 최근 GPT-4 등의 LLM이 인과 관계 추론 능력을 보여주고 있다.
Gap: LLM 단독으로는 방대한 문헌에서 추출한 인과 관계의 체계적 통합이 어렵고, 인과 그래프 구축의 노동 집약성은 다학제적 알고리즘 개발 전문성을 요구한다. LLM의 해석 가능성 문제도 해결되지 않고 있다.
Why: 심리학의 발전을 위해 AI 기반 데이터 중심 연구 패러다임으로의 전환이 필요하며, 이를 통해 방대한 심리학 문헌에서 숨겨진 인과 관계를 자동 발굴할 수 있다.
Approach: LLM의 의미론적 추출 능력과 인과 그래프의 체계적 사고를 결합한 LLMCG(LLM-based Causal Graph) 프레임워크를 제안하고, 링크 예측(link prediction) 알고리즘으로 새로운 가설을 자동 생성한다.

BERT 공간에서의 의미 표현 t-SNE 시각화: (a) 신규성 점수와 (b) 유용성 점수 비교

3단계 LLMCG 프레임워크:

Step 1 - 문헌 검색: PMC Open Access Subset에서 심리학 관련 키워드("psychol", "clin psychol" 등)를 포함한 약 140,000개 논문 검색. 저널명에 "Psychol"을 포함한 43,312개 논문 최종 선정 (1975-2023년)
Step 2 - 인과 쌍 추출:
- (2-1) 논문 선별 및 비용 분석: 처리 가능성 검토
- (2-2) 텍스트 추출 및 정제: PyPDF2 라이브러리로 제목, 초록, 본문 추출. 정규표현식으로 참고문헌 섹션 제거
- (2-3) 인과 지식 추출: GPT-4를 사용하여 텍스트에서 인과 관계 탐지, 분류, 표준화
- (2-4) 그래프 데이터베이스 저장: 구조화된 저장 및 관계 분석 지원
Step 3 - 가설 생성: 노드 임베딩(node embedding)과 유사도 기반 링크 예측 알고리즘으로 숨겨진 인과 관계 발굴 및 가설 자동 생성
검증 방법: 웰빙 관련 130개 가설을 ①박사 과정생 아이디어, ②LLM 단독 생성 가설과 신규성/유용성 면에서 비교 평가

작업 기억(working memory) 제약 미흡: HyGene 모델에서 강조한 인간의 작업 기억 제약을 완전히 모사하지 못하며, 이는 인간 가설 생성의 인지 메커니즘 이해에 한계
GPT-4 의존성: 특정 LLM 모델에 의존하여 다른 모델의 성능 비교나 모델 독립적 결과 일반화 미흡
웰빙 영역 제한: 검증이 웰빙 주제에만 한정되어 심리학 전 영역에 대한 프레임워크의 효과성 미입증
인과 관계 추출 정확도: GPT-4의 인과 관계 추출 과정에서 거짓 양성(false positive), 인과 방향 오인(reverse causality) 등의 오류 가능성에 대한 상세 검토 부족
후속 연구 방향:
- 다양한 심리학 주제 영역(임상, 발달, 조직심리학 등)에 대한 확대 적용
- 생성된 가설의 실증적 검증 연구 수행
- 인간 심리학자와 AI의 협업 프레임워크 개발
- 다국어 문헌으로 확장하여 국제적 인과 지식 그래프 구축