Structural shifts in institutional participation and collaboration within the AI arXiv preprint research ecosystem

Motivation

• Known: LLM의 출현이 과학 생태계를 변화시켰고, arXiv 프리프린트는 실시간 과학 동향을 반영하는 중요한 지표로 역할하고 있다. 전통적으로 AI 연구는 학계의 이론적 진전과 산업의 계산 리소스 제공 간 상호작용으로 특징지어졌다.
• Gap: 기존 연구는 LLM을 텍스트 생성 도구나 연구 대상으로 취급했으나, LLM이 과학 협력 패턴과 기관 참여 구조 변화에 미치는 광범위한 영향을 실증적으로 분석한 연구가 부족했다.
• Why: ChatGPT 출시 이후 AI 연구의 급격한 변화를 이해하는 것은 과학 정책 수립과 기관 전략 수립에 중요하며, 학술-산업 협력의 '계산 격차' 심화 여부를 규명해야 한다.
• Approach: 2021-2025년 arXiv cs.AI 데이터를 수집하고 OpenAlex와 LLM 기반 기관 분류를 활용한 다단계 파이프라인으로 저자 팀 규모, 출판량, 학술-산업 협력 패턴을 분석했다.

Achievement

Figure 4 (a) summarizes how affiliation types evolve across

• ChatGPT 효과의 정량화: ChatGPT 출시 이후 AI 출판량이 전례 없는 수준으로 급증했으며, 학술 기관이 여전히 가장 큰 연구량을 제공함을 확인
• 협력 패턴 분석: 저자 팀 규모 변화와 학술-산업 협력 패턴의 구조적 진화를 시간에 따라 추적
• Normalized Collaboration Index (NCI) 개발: 무작위 혼합 기준선 대비 실제 학술-산업 협력 수준을 측정하는 새로운 지표 도입으로 협력이 모든 주요 부분야에서 억제되어 있음을 발견
• 기관 분할의 지속: 자본 집약적 생성형 AI 연구의 특성이 학술-산업 협력의 경계를 재형성하고 있음을 입증

How

Fig. 1: Overview of the two-stage data collection, enrichment,

• arXiv cs.AI 카테고리에서 2021-2025년 데이터 수집
• OpenAlex 및 arXiv 메타데이터 활용한 1단계 데이터 보강 및 저자 정보 추출
• LLM 기반 2단계 기관 분류: 기관을 학술, 산업, 혼합 소속으로 자동 레이블링
• 출판량, 저자 팀 규모 변화 시계열 분석
• Normalized Collaboration Index (NCI) 계산: 무작위 기준선 대비 학술-산업 협력 정도 측정
• 부분야별 협력 패턴 비교 분석

Originality

• LLM을 외부 기술 충격으로 취급하여 과학 생태계 구조 변화를 거시적으로 분석한 새로운 관점 제시
• LLM 기반 자동 기관 분류 파이프라인으로 기존 scientometric 연구보다 세밀한 소속 유형 구분
• Normalized Collaboration Index (NCI)라는 새로운 협력 측정 지표 개발로 무작위 기준선 대비 실제 협력을 정량화
• pre-LLM과 post-ChatGPT 시대의 비교 분석으로 자연 실험적 설계 활용

Limitation & Further Study

• arXiv cs.AI 카테고리만 분석하여 다른 AI 관련 카테고리(cs.LG, cs.CL 등)의 동향을 반영하지 못함
• LLM 기반 기관 분류의 정확도 검증 및 오류 분석에 대한 상세 논의 부족
• 저자 소속 정보의 결측 및 다중 소속에 대한 처리 방식의 명확화 필요
• 협력 패턴의 원인을 규명하기 위해 질적 연구(인터뷰, 사례 분석) 병행 필요
• 향후 연구: 기관 유형별 협력 장벽 분석, 펀딩 구조와 협력 패턴의 관계 조사, 다양한 학문 분야로 확대 분석

Evaluation

총평: 이 논문은 LLM의 출현이 AI 과학 생태계의 협력 구조에 미친 영향을 체계적으로 분석한 중요한 연구이며, LLM 기반 기관 분류 및 NCI 지표 개발을 통해 방법론적 기여도 높다. 다만 분석 범위 확대 및 협력 억제의 원인 규명을 위한 후속 연구가 필요하다.