A Global South strategy for evaluating research value with ChatGPT

Motivation

• Known: Global South 국가들은 동료 평가를 위한 충분한 전문가 인력 부족, 인용 지표의 편향성 (Global North 중심), 그리고 지역 맞춤형 평가의 어려움이라는 연구 평가상의 문제를 겪고 있다. 기존 LLM 연구는 ChatGPT가 표준적 연구 품질 평가에서 일부 인용 지표보다 우수하다는 것을 보여주었다.
• Gap: Global South의 특정 국가적 필요와 우선순위에 맞춘 연구 평가 전략이 부재하며, LLM을 이러한 맥락에 적응시킬 수 있는지에 대한 실증적 증거가 없다. 또한 국가 맞춤형 평가가 표준 평가 기준 및 인용 지표와 어떻게 다른 결과를 도출하는지 알려진 바 없다.
• Why: Global South 국가들이 자신의 발전 목표에 부합하는 저비용, 맞춤형의 연구 평가 체계를 확보하는 것은 학술 자원의 효율적 배분과 지역 맞춤형 정책 수립에 필수적이다. 이는 전 지구적 연구 평가의 공정성과 포용성을 높이는 데 기여한다.
• Approach: Mauritius의 2015-2021년 Scopus 게재 논문 1,566편을 대상으로, (1) 표준 연구 품질 평가 지시문, (2) Mauritius 관점의 연구 품질 평가 지시문, (3) Mauritius 가치 평가 지시문의 세 가지 ChatGPT 프롬프트를 적용하여 점수를 산출한 후, 세 점수 간 상관관계와 인용 지표와의 관계를 분석하고 주제 분석을 수행하였다.

Achievement

Figure 1. Spearman correlation between ChatGPT scores from standard prompts

RQ1 및 RQ2 검증: Mauritius 지향적 ChatGPT 점수와 표준 연구 품질 점수, 인용 지표 간의 상관관계가 거의 0에 가까워, 국가 맞춤형 평가가 기존 지표와 근본적으로 다른 연구를 식별함을 입증. 주제 식별: 높은 Mauritius 가치 점수를 받은 논문들에서 교육, 정책 관련성, 산업 생산 등의 테마가 식별되었으며, 국가명이나 주요 상업 부문 언급이 높은 점수와 연관. 실행 가능성 입증: 저비용으로 국가 특정적 연구 평가을 수행할 수 있는 실용적 방법론 제시.

How

Figure 1. Spearman correlation between ChatGPT scores from standard prompts

• Scopus에서 Mauritius 소속 저자의 2015-2021년 표준 저널 논문 수집 (초록 없거나 초록이 극히 짧은 논문 제거)
• 논문을 UK REF 분류에 따라 4개 영역으로 분류 (보건/생명과학, 물리과학/수학/공학, 사회과학, 인문학)
• 3가지 ChatGPT 시스템 지시문 개발: (a) 표준 연구 품질 (원창성, 중요성, 엄밀성), (b) Mauritius 관점 수정 버전, (c) Mauritius 가치 평가 버전
• 각 지시문으로 1,566개 논문 평가
• Spearman 상관관계 분석, 단어 결합 주제 분석 수행

Originality

• Global South 국가의 특정한 필요에 맞춘 LLM 기반 연구 평가 프레임워크는 선행 연구에서 다루어지지 않은 새로운 접근
• 인용 편향을 극복하고 국가 발전 목표에 부합하는 평가 기준 도입이라는 창의적 문제 해결
• 단순한 기술 적용을 넘어 Global South의 맥락적 필요를 반영한 방법론적 혁신

Limitation & Further Study

• 사례 연구의 일반화 한계: Mauritius 사례만으로 다른 Global South 국가에의 적용 가능성이 불확실함
• 검증의 부재: 금본위적(gold standard) 평가 기준이 없어 ChatGPT 점수의 정확성을 직접 검증할 수 없음
• 초록 기반 평가의 한계: 전체 논문 내용을 평가하지 않아 핵심 가치를 놓칠 가능성
• 국가 우선순위 정의의 주관성: Mauritius의 국가 이익을 정의하는 과정에서 객관성 결여 가능성
• 시간 한계: 2015-2021년 데이터만 사용하여 최근 연구 경향 미반영
• 후속 연구 필요: 다른 Global South 국가에의 확장, 전문가 평가와의 비교 검증 필요

Evaluation

총평: 본 논문은 Global South의 구체적인 연구 평가 문제에 대해 LLM을 창의적으로 활용하는 실행 가능한 해결책을 제시한다. 비록 단일 국가 사례 연구라는 한계가 있지만, 국가 맞춤형 평가 기준 개발과 그 실행의 가능성을 입증했다는 점에서 학술적 가치가 있다. 향후 다국가 비교 연구와 전문가 검증을 통해 더욱 강화될 수 있을 것이다.