Which stylistic features fool ChatGPT research evaluations?

Motivation

• Known: abstract readability와 citation impact 간의 관계는 선행 연구에서 많이 다루어졌으며, 복잡한 추상이 더 높은 인용도를 받는 경향이 보고되었다. LLM의 편향에 관한 몇몇 연구들이 국가, 저널 영향도, abstract 길이 등과 ChatGPT 점수의 관계를 밝혀냈다.
• Gap: 추상의 텍스트 특성(가독성, 언어 복잡성, 길이)과 LLM 점수 간의 구체적인 관계가 알려지지 않았으며, 이러한 연관성이 LLM 점수에서 인간 전문가 점수보다 더 강한지 여부도 명확하지 않다.
• Why: LLM 기반 연구 평가 시스템이 실제 연구 품질과 무관한 언어 특성에 의해 조작될 수 있는지 파악하는 것은 이 기술의 신뢰성 평가와 잠재적 악용 방지를 위해 중요하다.
• Approach: UK REF2021의 대규모 데이터셋(99,277개 논문)에서 abstract readability indicators(Flesch–Kincaid Grade Level, Flesch Reading Ease, Gunning Fog Index, words per sentence, syllables per word)를 계산하고, 이를 ChatGPT 점수 및 인간 전문가의 REF 점수와 상관관계 분석했다. 학문 분야별(UoAs) 차이를 조사했다.

Achievement

Figure 2. Spearman correlations between Flesch–Kincaid Grade Level and ChatGPT and REF

• 주요 발견: 많은 학문 분야에서 언어 복잡성과 길이가 ChatGPT 점수와 REF 전문가 점수보다 더 강하게 연관됨을 보여주었다.
• 편향 규명: ChatGPT는 인간 전문가보다 복잡한 언어와 더 길고 가독성이 낮은 추상을 선호하는 경향이 있음을 실증적으로 입증했다.
• 학문 분야별 차이: UoA별로 이러한 패턴의 강도가 상이함을 규명했다.

How

Figure 2. Spearman correlations between Flesch–Kincaid Grade Level and ChatGPT and REF

• Spearman 상관 분석을 통해 readability indicators와 점수 간의 관계 정량화
• 여러 복잡성 지표(Flesch–Kincaid Grade Level, Gunning Fog Index, syllables per word 등) 동시 사용
• ChatGPT 점수와 REF 전문가 점수의 상관 패턴 직접 비교
• 학문 분야별(UoAs) 하위 분석으로 분야 간 이질성 검토

Originality

• LLM 점수와 abstract 텍스트 특성 간의 연관성을 대규모로 체계적으로 분석한 최초의 연구
• 인간 전문가 점수와의 직접 비교를 통해 LLM 편향을 상대적으로 규명
• 다양한 복잡성 지표를 동시에 고려한 포괄적 분석 제시

Limitation & Further Study

• 개별 논문 점수가 부서 평균 점수로 대체되어 개별 수준의 정확성 부족 (다만 이는 상관관계 약화 방향으로만 작용)
• 인과관계(causality)가 입증되지 않았으며 순전히 상관관계만 규명됨
• ChatGPT만 조사하여 다른 LLM(GPT-4, Claude 등)으로의 일반화 제한
• 사용된 prompt 구성과 ChatGPT 버전에 따른 결과 변동 가능성 미검토
• 후속 연구: 인과 메커니즘 규명, 추상 수정 실험, 다른 LLM 모델 비교 필요

Evaluation

총평: 본 논문은 LLM 기반 연구 평가의 중요한 편향을 대규모 실증 데이터로 규명한 중요한 연구이다. 다양한 readability indicators를 체계적으로 분석하고 인간 전문가 점수와 비교함으로써 LLM의 잠재적 약점을 명확히 드러낸다. 다만 인과관계 미입증과 단일 LLM 모델 사용이 제한점이나, LLM 기반 평가 시스템의 신뢰성과 공정성을 평가하는 데 실질적 기여를 한다.