/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/280_Divergent_llm_adoption_and_heterogeneous_convergence_paths_i

Motivation

• Known: 선행 연구들은 LLM이 과학적 글쓰기와 생산성에 미치는 영향의 가능성과 위험성(할루시네이션, 오정보, 윤리 문제 등)을 논의해왔고, GPT 생성 텍스트 탐지 모델들도 다수 개발되어 텍스트가 기계 생성인지 여부를 판별하는 데 초점을 맞춰왔다.
• Gap: 기존 연구는 텍스트가 GPT로 작성/수정되었는지 이진 판별하는 데 그쳤을 뿐, 실제로 연구자들이 GPT를 어떻게, 어떤 방식으로 활용해 글쓰기를 수정하는지, 그리고 연구자 집단별로 채택 양상과 그로 인한 글쓰기 스타일 수렴 효과가 어떻게 다른지는 거의 탐구되지 않았다.
• Why: LLM 기반 글쓰기 보조가 학술 커뮤니케이션의 질과 다양성에 미치는 영향을 파악하는 것은 과학적 글쓰기의 표준화, 형평성(주니어·비원어민 연구자에 대한 영향), 그리고 학문적 표현의 동질화 위험을 평가하는 데 중요한 정책적·학술적 함의를 가진다.
• Approach: 연구진은 GPT-3.5로 인간 작성 초록을 명확성·형식성·객관성 등 다섯 가지 차원에서 재작성하게 한 뒤, 이를 학습 데이터로 활용해 discipline·prompt별로 미세조정한 48개 분류 모델을 구축하여 GPT 수정 텍스트를 탐지하는 프레임워크를 개발했다.

Achievement

1. 고정밀 탐지 프레임워크 구축: out-of-sample precision, recall, F1 점수가 모두 96%를 넘는 48개의 field·prompt-specific 분류 모델을 개발해 GPT 수정 텍스트를 신뢰성 있게 식별했다.
2. 분야별 이질적 채택 양상 규명: 2023년 말 기준 Computer Science(약 22%), EE&SS(21%), Finance(18%), Statistics(15%), Biology·Economics(약 11%), Physics(10%), Mathematics(3.5%) 등 학문 분야별로 GPT 채택률에 큰 차이가 있음을 밝혔다.
3. 연구자 집단별 채택 격차 확인: 주니어 연구자와 비원어민 영어 사용자가 시니어·원어민 연구자에 비해 GPT를 유의하게 더 많이 사용함을 확인했다.
4. GPT 활용 목적의 시간적 변화 포착: 2023년 1분기에는 명확성·간결성 개선(45%)과 문법 교정(22%)이 주된 목적이었으나, 4분기에는 각각 33%, 9.7%로 감소하고 종합적 수정 비중이 19.5%에서 27.7%로 증가함을 보였다.
5. 글쓰기 품질 향상 효과 정량화: 논문 고정효과를 포함한 회귀분석으로 GPT 수정이 단어 수를 25% 이상 줄이고, 현재시제 선호, 형용사·부사·hedge word 감소 등 형식성을 높임을 입증했다.
6. 스타일 수렴 효과 규명: difference-in-differences 분석을 통해 GPT 조기 채택자, 남성, 비원어민, 주니어 연구자일수록 시니어 연구자의 스타일에 더 크게 수렴함을 보여, GPT가 학술 글쓰기의 표준화 및 잠재적 동질화를 유발함을 시사했다.

How

• 2021년 1월~2023년 12월 사이 arXiv에 게재된 627,384편 논문의 초록, 분야, 저자정보, 개정 이력 등을 포함한 데이터셋 구축
• GPT 대중 공개(2022년 11월) 이전 논문을 인간 작성 ground truth로 삼아 데이터 오염 방지
• zero-shot prompting으로 GPT-3.5가 초록을 clarity, formality, objectivity, readability, grammatical correctness 등 차원에서 재작성하도록 유도
• 이렇게 생성된 human-GPT 수정본 쌍으로 48개의 field·prompt-specific 모델을 fine-tuning하여 분류기 학습
• article-level fixed effects를 포함한 linear regression으로 GPT 수정이 10가지 글쓰기 원칙(간결성, 명확성, 현재시제 사용, 형용사·hedge word 회피 등)에 미치는 영향 추정
• cosine similarity 지표와 difference-in-differences 분석을 통해 seniority, gender, nativeness에 따른 스타일 수렴 정도 측정

Originality

• 단순 GPT 생성 여부 이진 탐지를 넘어, discipline·prompt별로 세분화된 48개 분류 모델을 통해 GPT 수정의 '방식'과 '유형'까지 탐지하는 새로운 프레임워크 제시
• 대규모(627,384편) arXiv 데이터와 GPT 공개 전후 시점을 활용한 준자연실험적 설계로 인과적 해석 가능성을 높임
• 연구자 인구통계학적 특성(성별, 모국어, 경력 단계)별 이질적 채택 패턴과 스타일 수렴을 동시에 분석한 최초의 대규모 실증 연구

Limitation & Further Study

• GPT-3.5 기반 재작성 프롬프트로 생성한 훈련 데이터가 실제 연구자들이 사용하는 다양한 프롬프트 및 최신 GPT-4 이상 모델의 사용 패턴을 완전히 반영하지 못할 가능성
• 초록만을 분석 대상으로 삼아 본문 전체의 수정 양상은 다루지 못함
• arXiv라는 특정 플랫폼(주로 이공계 중심)에 한정된 데이터로 인문학·사회과학 전반에 대한 일반화에 한계
• 저자의 성별, 모국어, 경력 단계 등 인구통계 정보의 추정 방식에 오차 가능성 존재
• 향후 연구로는 본문 전체 텍스트 분석, 다양한 LLM 버전 간 비교, 그리고 실제 인용·출판 성과에 미치는 장기적 영향에 대한 후속 분석이 필요

Evaluation

총평: 대규모 실증 데이터와 정교한 분류 프레임워크를 결합해 LLM이 학술 글쓰기에 미치는 이질적 영향과 스타일 수렴 현상을 설득력 있게 보여준 의미 있는 연구이나, 초록 중심 분석과 arXiv 플랫폼 한정이라는 범위상의 한계가 있다.