저자: Weixin Liang, Yaohui Zhang, Zhengxuan Wu, Haley Lepp, Wenlong Ji, Xuandong Zhao, Hancheng Cao, Sheng Liu, Siyu He, Zhi Huang, Diyi Yang, Christopher Potts, Christopher D. Manning, James Zou | 날짜: 2025-08-04 | DOI: 10.1038/s41562-025-02273-8 📄 PDF
Essence
Fig. 1 | Estimated fraction of LLM-modified sentences across research paper
2020년 1월부터 2024년 9월까지 112만여 개의 학술논문을 분석하여 대규모언어모델(LLM, Large Language Model)의 사용 비율을 단어빈도 변화 기반 모집단 수준 프레임워크로 정량화한 연구이다.
Evaluation
Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5
총평: 학술 출판에서 LLM 사용의 실제 규모를 처음으로 정량화한 중요한 연구로, 모집단 수준의 통계적 방법론으로 개별 탐지의 한계를 극복했다. 분야별 차등적 채택 패턴과 저자 특성 간의 상관관계 규명을 통해 학술 커뮤니케이션의 구조적 변화를 이해하는 데 기여할 수 있으나, LLM 사용이 논문의 실제 품질과 신뢰성에 미치는 영향에 대한 심층 분석은 향후 과제이다.
같이 보면 좋은 논문
기반 연구학술 논문에서 LLM 사용 비율을 정량화한
[1077]은 본 연구처럼 LLM을 과학 연구에 활용하는 추세의 규모와 영향을 정량적으로 파악하게 한다.
기반 연구기계학습 기반 과학 연구의 타당성을 위한 체크리스트를 제시한
[1079]는 LLM이 사용된 학술 연구의 신뢰성 평가 기준을 이해하는 맥락을 제공한다.
기반 연구학술 논문에서 LLM 사용 비율을 정량화하는 연구로, OLMo와 같은 공개 LLM의 과학계 확산을 측정하는 응용 연구이다.
기반 연구단어빈도 기반 언어 변화 탐지 방법론의 기초가 되는 선행 연구로 판단된다.
기반 연구학술 논문에서 LLM 사용을 정량화한 연구는 LLM 도입이 과학 생산성에 미치는 효과를 더 구체적인 데이터로 뒷받침한다.
다른 접근두 논문 모두 LLM 시대의 과학적 생산성 변화를 분석하지만, 하나는 단어빈도 변화로 LLM 사용률을 정량화하고 다른 하나는 생산성 자체에 초점을 맞춘다.
기반 연구1016의 과학-정책 변환 LLM 평가는
1077의 과학 논문에서 LLM 활용 정량화 연구와 함께 읽으면 AI가 학술 지식 전달 체계에 미치는 영향을 종합적으로 이해할 수 있다.
다른 접근학술 텍스트에서 LLM 사용을 탐지하는 다른 방법론적 접근을 제시하는 유사 연구이다.
다른 접근과학 논문에서 LLM 사용량을 정량화한
1077은
2885의 ChatGPT 이후 AI 연구 생태계 구조 변화 분석과 직접적으로 연관된 보완 연구이다.
다른 접근대규모 학술 코퍼스에서 AI 생성 텍스트의 비율을 측정하는 유사한 정량화 프레임워크를 다룬다.
후속 연구AI의 과학 연구 침투 현상을 더 넓은 맥락에서 다루며 본 연구의 결과를 확장 적용할 수 있다.
후속 연구LLM 사용 비율을 정량화하는 이 연구는 AI가 과학 연구에 사용되는 정도와 잠재적 이점을 측정하는 프레임워크 연구를 보완하며 함께 AI의 과학 침투를 다각도로 분석한다.
후속 연구SPECTER2 유사도 0.93로 Clinical Time-Series Modeling와 LLMs for Molecular Biology & Chemistry가 맞닿아, 'Quantifying large language model usage in scientific papers'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.
후속 연구SPECTER2 유사도 0.92로 Multimodal Biomedical Data Fusion와 LLMs for Molecular Biology & Chemistry가 맞닿아, 'Quantifying large language model usage in scientific papers'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.
후속 연구LLM이 과학의 방향과 영향에 미치는 효과를 분석한
[1041]은 본 연구의 학술 논문에서 LLM 사용 비율 정량화를 LLM의 과학적 영향력 관점에서 확장한다.
후속 연구LLM 사용 비율의 정량화 결과는 AI 기반 논문 작성 도구 확산이 동료 검증 능력을 초과한다는 주장을 실증적으로 뒷받침하는 데 기여한다.
응용 사례LLM 사용 탐지 기법을 학술 출판 분야에 실제 적용한 사례로 볼 수 있다.
응용 사례LLM 사용 비율 정량화 연구는 과학 출판에 가해지는 부담과 압박을 구체적 데이터로 보여주는 응용 사례가 된다.
