Scoping Review: The Jingle-Jangle Fallacy of Anomie in Latin America (1965-2024)

Motivation

• Known: Jingle과 jangle fallacy의 개념은 Thorndike(1904)와 Kelley(1927)에 의해 오래전부터 인식되어 왔으나, 최근 5년 이내의 연구들이 주를 이루고 있다. Block(2018)과 Meehl(1992)은 통계 방법의 남용과 과학적 언어의 부재가 이러한 오류의 원인임을 지적했다.
• Gap: 심리학 연구의 다양한 영역에서 jingle-jangle fallacy가 광범위하게 발생하고 있음에도 불구하고, 이를 자동으로 탐지하거나 예방할 수 있는 형식적 방법론이 부족하다. 특히 NLP 기반 접근법을 통한 대규모 체계적 탐지 방법이 개발되지 않았다.
• Why: Jingle과 jangle fallacy는 구성 개념의 타당도를 감소시키고 과학적 진보를 저해하는 근본적인 문제이다. 심리학의 "파편화"를 해결하고 이론의 명확성을 확보하기 위해서는 이러한 오류의 체계적 탐지와 예방이 필수적이다.
• Approach: PRISMA guidelines을 따르는 체계적 문헌 검토를 수행하였으며, Scopus, Web of Science, PubMed, ERIC, Wiley, PsyArXiv 등 6개 데이터베이스를 검색하여 총 81개의 peer-reviewed 논문과 preprint을 포함했다. 메타분석, 요인 분석, NLP 등 다양한 실증 방법들의 효과성을 분석했다.

Achievement

Figure 1. Flowchart of the systematic review. Further information regarding included and excluded studies can be found a

• Jingle-jangle fallacy의 광범위한 분포 확인: 81개 논문 중 52개(64%)가 두 유형의 오류를 모두 발견
• 5가지 탐지 도구 식별: Lawson and Robins(2021)의 10단계 절차 등 jingle/jangle fallacy 탐지 전용 도구 5가지 발견
• 방법론적 효과성 평가: 이론적 분석, factor analytical 방법, meta-analysis, NLP 등의 적용 현황 및 효과성 분석
• 미래 방향 제시: 이론 수정, 구성 개념 타당도 강화, 측정 투명성 강화에 대한 구체적 권고사항 제시
• 연구 영역별 분석: 정서 및 웰빙, 동기 및 성취, 성격, 조직심리학 등 6개 분야의 오류 패턴 분석

How

Figure 1. Flowchart of the systematic review. Further information regarding included and excluded studies can be found a

• Theoretical considerations을 통한 1차 탐지
• Factor analytical approach(CFA, EFA, PCA 등)를 활용한 실증적 분석
• Nomological network analysis을 통한 구성 개념 검증
• Multitrait-multimethod matrix(MTMM)를 통한 판별 타당도 평가
• Natural language processing(NLP)을 통한 항목 수준의 자동 탐지
• Meta-analysis 및 systematic review를 통한 종합적 검토
• 통계적 방법(ANOVA, 클러스터 분석 등) 보조 활용

Originality

• 새로운 포괄적 검토: 1965-2024년 장기간에 걸친 jingle-jangle fallacy 문헌의 첫 체계적 검토
• 도구 중심의 분석틀: 기존 오류 탐지보다 '탐지 도구' 자체에 초점을 맞춘 혁신적 접근
• 다학제적 범위: 동기, 성격, 정서, 조직심리, 생물심리학 등 6개 분야의 통합 분석
• NLP 기반 방법론의 체계적 평가: 스케일 및 항목 수준에서의 자동 탐지 가능성 제시

Limitation & Further Study

• 적용 도구의 제한성: 5가지 탐지 도구 중 대부분이 이론적 고려 기반이며, 자동화된 NLP 방법론의 구체적 성과는 미흡
• 예측 정확도 부족: 자료 수집 시점(2024년 3월)까지의 제한된 시간 범위와 preprint의 불안정성
• 학과 간 용어 사용의 차이: Jingle fallacy는 학제 간에 걸쳐 발생하나, 단일 연구 내에서는 탐지가 어려움
• 향후 연구 필요: 대규모 자동화된 NLP 기반 탐지 시스템의 개발 및 검증, 구성 개념 표준화를 위한 국제적 합의 메커니즘 구축

Evaluation

총평: 본 systematic review는 심리학 분야의 오랫동안 인식되어 온 jingle-jangle fallacy 문제를 포괄적으로 검토하여 그 광범위성을 입증하고, 기존 탐지 방법들을 체계화하며 NLP 기반 자동 탐지의 가능성을 제시한다. PRISMA guidelines을 엄격하게 따르고 81개의 질 높은 자료를 분석하였으나, 실질적인 탐지 도구의 개발과 검증이 미흡한 한계가 있다. 그럼에도 불구하고 심리학의 이론 명확화와 과학적 진보를 위한 중요한 기초 연구로서의 가치가 크다.