The Rise of Large Language Models and the Direction and Impact of US Federal Research Funding

Essence

Fig. 1: Rapid rise and bimodal distribution of LLM use in US federal research funding. (a-d) Corpus-level

대규모 언어 모델(LLM)이 2023년 이후 급격히 확산되면서 연방 연구 자금 신청 제안서의 의미론적 독창성을 감소시키고 있으며, 이러한 변화가 NIH에서는 제안 성공률과 논문 출판량 증가와 연관되지만 NSF에서는 그러한 연관성이 관찰되지 않음을 보여준다.

Known: 연방 연구 자금이 미국 과학 기업의 방향, 다양성, 영향력을 형성하며, LLM이 과학 저술과 평가에서 급속히 확산되고 있다.
Gap: LLM의 급속한 보급에도 불구하고, 연방 자금 지원 파이프라인에서 LLM 사용이 어떻게 확산되고 있으며 연구 아이디어의 선정과 다양성에 어떤 영향을 미치는지에 대한 체계적인 증거가 부족하다.
Why: 연방 자금 결정은 출판, 채용, 인정 등에 앞서 어떤 과학 아이디어를 추구할 것인지를 결정하므로, LLM 도입의 영향을 이해하는 것은 과학 정책, 연구 다양성, 공적 자금 투자의 책임성 측면에서 매우 중요하다.
Approach: NSF와 NIH의 비공개 제안 제출 데이터(2개 R1 대학, 2021-2025)와 공개 수상 데이터를 결합하여 LLM 탐지 방법을 적용하고, LLM 사용과 의미론적 독창성, 제안 성공률, 출판 산출물 간의 관계를 분석한다.

LLM 사용의 급속한 확산: ChatGPT 대중화(2023년)와 일치하여 NSF와 NIH 모두에서 LLM 관여도(α)가 급격히 증가
이분 분포 패턴: 개별 제안서 수준에서 LLM 사용이 최소 사용과 실질적 사용(약 10-15%) 사이의 명확한 분리를 보임
의미론적 독창성 감소: LLM 사용이 높을수록 의미론적 독창성이 일관되게 감소하고 최근 자금 지원 프로젝트와 유사성 증가
기관 의존적 결과: NIH에서는 LLM 사용이 제안 성공률과 후속 출판 산출량 증가와 양의 상관관계를 보이지만 NSF에서는 유의미한 연관성 미관찰
제한된 영향력 증진: NIH에서의 생산성 이득이 저인용 논문(non-hit papers)에 집중되고 고인용 논문에서는 이득 미관찰

LLM 탐지: Liang et al.의 확립된 방법을 적용하여 human-written 텍스트와 GPT-3.5-turbo가 생성한 텍스트의 단어 분포 비교
코퍼스 수준 분석: 각 월과 인접 2개월의 제안서를 병합하여 LLM 변경 문장 비율(α) 추정
개별 제안서 수준 분석: 각 제안서 초록에 대해 개별적으로 α 추정하여 이질성과 관계성 분석
의미론적 독창성 평가: 제안서가 최근 자금 지원 작업과 얼마나 유사한지를 의미론적 거리로 측정
통계 분석: 제안 성공률, 출판 산출물, 인용도 등과의 회귀 분석을 통해 연관성 검토

제한된 기관 범위: 2개의 R1 대학 데이터만 사용하여 전국 단위 일반화에 제한
LLM 탐지 방법의 한계: 특정 LLM 모델(GPT-3.5)을 기반으로 학습되어 다른 LLM 모델의 사용 패턴 포착에 제한적
인과성 규명 부족: 관찰된 상관관계가 LLM 사용의 직접적인 결과인지, 아니면 다른 혼재 변수(confounding variable)의 결과인지 명확히 구분되지 않음
단기 평가: 2025년 초까지의 데이터만 사용하여 LLM 도입의 장기적 영향 평가 불가
후속연구 방향: (1) 더 많은 기관과 학문 분야에서의 LLM 사용 패턴 조사, (2) 제안 평가자의 관점에서 LLM 사용이 평가에 미치는 영향 연구, (3) LLM 사용으로 인한 연구 다양성 감소가 과학적 혁신에 미치는 장기 영향 추적