Large language models and responsible research evaluation: an extension of the Leiden Manifesto

Motivation

• Known: Leiden Manifesto는 책임 있는 연구 평가를 위한 원칙들(정확성, 공정성, 투명성)을 제시했으며, 문헌계량학 기반 지표들이 연구 평가에 광범위하게 사용되고 있다.
• Gap: 기존의 책임 있는 연구 평가 논의는 LLMs을 고려하지 않았으나, LLMs이 인용 기반 지표보다 전문가 판단과 더 높은 상관관계를 보일 수 있다는 증거가 나타나고 있다.
• Why: LLMs이 향후 연구 평가에서 인용 지표를 보완하거나 대체할 가능성이 있으므로, 책임 있는 LLM 기반 평가의 원칙을 미리 수립하는 것이 중요하다.
• Approach: Leiden Manifesto의 책임 있는 평가 원칙들을 LLM, 인용 지표, 전문가 리뷰 세 가지 접근법에 비교 분석하고, LLM 평가에 특화된 추가 원칙을 제안한다.

Achievement

• Leiden Manifesto 원칙의 적용 가능성: 정확성, 공정성, 투명성 등 기존 원칙들이 LLM 평가에도 여전히 관련성이 있음을 입증
• 투명성의 본질적 약점 도출: LLM의 의사결정 과정이 복잡하여 투명성 확보가 인간 전문가와 유사하게 본질적으로 제한됨을 설명
• LLM의 적응성 우위: 프롬프트 조정을 통해 평가 목표에 맞게 적응할 수 있는 LLM의 장점을 제시
• 인센티브 구조의 차이: LLM 평가는 저자들이 LLM을 설득하도록 논문을 커스터마이징하게 유도할 수 있음을 지적
• 확장된 책임 평가 원칙: 비용-편익 분석과 저작권 준수 두 가지 추가 원칙을 Leiden Manifesto에 제안

How

• Leiden Manifesto와 기타 책임 있는 연구 평가 이니셔티브의 핵심 원칙들을 정리
• LLM의 기술적 특성(transformer 아키텍처, 프롬프트 최적화, 다중 언어 지원)을 설명
• 선행 연구(ChatGPT 품질 예측과 전문가 판단의 상관관계 분석)의 증거 검토
• 인용 지표, LLM, 전문가 리뷰의 정확성, 공정성, 투명성, 유연성을 비교분석
• 논문 수준, 부서 수준, 국가 수준 평가 등 다양한 응용 사례에서의 LLM 활용 가능성 검토
• LLM 평가의 잠재적 부작용(저자의 게임화 행동, 기술적 오류)과 자원 제약 상황 논의

Originality

• Leiden Manifesto와 같은 기존의 책임 있는 평가 프레임워크를 새로운 기술(LLM)에 적용하여 확장하는 시도
• LLM, 인용 지표, 전문가 리뷰를 동일한 책임 있는 평가 기준으로 체계적으로 비교
• 비용-편익 분석과 저작권 준수라는 LLM 특화의 새로운 원칙 제안
• 자원 제약이 있는 맥락에서는 완전히 책임 있는 솔루션을 구현하지 않는 것이 오히려 책임 있을 수 있다는 통찰

Limitation & Further Study

• 현재까지 ChatGPT의 품질 예측과 전문가 판단 간의 상관관계는 소규모 연구에 기반하며, 대규모 검증이 필요
• LLM의 네트워크 기반 지표 생성 능력은 아직 미개발 상태
• LLM 점수의 개별 의미를 해석하기 어렵다는 제한이 있어 순위 변환이 필수적
• LLM의 편향성(학습 데이터의 편향, 특정 분야나 언어에 대한 편향)에 대한 심층 분석 부족
• 저작권법의 국가별 차이와 그에 따른 실질적 준수 방안에 대한 구체적 논의 미흡
• 후속 연구: 다양한 학문 분야에서 LLM 평가의 공정성과 정확성에 대한 실증적 검증 필요; LLM 기반 평가 시스템의 실제 도입 시 발생하는 사회적, 경제적 영향 평가

Evaluation

총평: 본 논문은 급속히 발전하는 LLM 기술을 책임 있는 연구 평가의 프레임워크로 분석한 선제적 논의로, 실증적 증거와 규범적 원칙을 균형 있게 제시하여 학술 평가의 미래에 대한 중요한 지침을 제공한다.