Divergent LLM Adoption and Heterogeneous Convergence Paths in Research Writing

Motivation

Known:
- ChatGPT 등 LLM이 과학 연구에 미치는 영향은 긍정적(생산성 향상, 명확성 개선)과 부정적(할루시네이션, 윤리 문제)이 공존
- 기존 연구는 주로 LLM이 생성한 텍스트 탐지(detection)에 집중
Gap:
- 실제 연구자들이 어떻게 LLM을 사용하는지에 대한 체계적 분석 부족
- 다양한 배경의 연구자 집단 간 이질적 채택 패턴 미파악
- LLM 사용이 학술 글쓰기 스타일에 미치는 수렴 효과 미규명
Why:
- LLM의 광범위한 채택이 학술 출판 생태계와 과학적 표현의 다양성에 미치는 장기적 영향 이해 필요
- 연구자 집단별 채택 격차가 학술 출판 불평등을 심화시키거나 완화할 수 있음
Approach:
- GPT-3.5로 명확성(clarity), 형식성(formality), 객관성, 가독성, 문법 등 5개 차원의 초록 수정본 생성
- 2022년 11월 이전 논문을 인간 작성 텍스트 기준(ground truth)으로 설정
- 48개 분야·프롬프트별 미세조정 모델 학습 → 96% 초과의 정확도로 GPT 수정 텍스트 식별
- 차분-차분(difference-in-differences) 분석으로 글쓰기 수렴 효과 측정

이질적 LLM 채택 패턴 규명:
- 컴퓨터과학: 22%, 전기공학: 21%, 금융: 18%, 통계: 15% → 수학: 3.5%
- 주니어 연구자, 영어 비모국어자, 기관 접근성 낮은 연구자의 채택률 현저히 높음
- 시간 경과에 따라 부분 수정(명확성/간결성)에서 포괄적 수정(27.7%)으로 진화
LLM 수정의 글쓰기 품질 효과:
- 단어 수 25% 이상 감소로 간결성 극대화
- 현재형 선호, 형용사/부사/수식어(hedge word) 최소화로 중립적·형식적 톤 강화
- 선임 연구자의 구조화된 글쓰기 선호도와 높은 일치도
글쓰기 스타일 수렴 현상 입증:
- ChatGPT 공개 후 LLM 채택자의 주니어-시니어 간 글쓰기 스타일 급격한 수렴
- 남성 연구자, 비모국어 사용자의 수렴도 더 높음
- 비채택자는 안정적 글쓰기 패턴 유지
- 코사인 유사성(cosine similarity) 메트릭으로 정량화

분류 프레임워크 구축:
- 제로샷 프롬핑으로 GPT-3.5가 인간 작성 초록을 5개 차원별로 수정
- 인간-GPT 수정본 쌍 데이터셋으로 분야·프롬프트별 미세조정 모델 학습
- 계층적 교차검증(stratified cross-validation)으로 과대적합 방지
글쓰기 품질 측정:
- 10개 핵심 글쓰기 원칙 정량화 (간결성, 명확성, 시제 선호도 등)
- 기사 수준 고정효과(article-level fixed effects) 회귀모델로 인과효과 추정
- 선택 편향(selection bias) 통제
수렴 분석:
- 원본 vs. GPT 수정본 초록의 코사인 유사성 계산
- 경력 단계, 성별, 모국어 여부별 차분-차분 설계 적용
- 2022년 11월 전후 시점 비교로 정책 변화(ChatGPT 공개)의 인과효과 식별

한계:
- 초록(abstract) 분석에 집중 → 본문(body text) 영향 미파악
- 연구자의 의도적 LLM 사용 여부와 무의식적 스타일 영향 구분 불가
- 비(非)arXiv 저널(Nature, Science 등)의 채택 패턴 불명확
- 모델이 특정 유형의 수정(예: 극도로 정교한 인간 수정)은 위양성 가능성
후속 연구 방향:
- 본문 텍스트 분석으로 초록 이외 영역의 LLM 영향 조사
- 논문 인용도, 다운로드 수 등과 글쓰기 수렴의 관계 분석
- 글쓰기 다양성 감소가 과학적 혁신에 미치는 장기적 영향 평가
- 비영어 논문, 폐쇄 학술지의 LLM 채택 패턴 조사
- 후속 LLM 버전(GPT-4, Claude 등)의 탐지 및 영향 분석