Can LLMs Predict Academic Collaboration? Topology Heuristics vs. LLM-Based Link Prediction on Real Co-authorship Networks

Essence

Figure 3: Two prediction methods. (a) Topology heuristics: five structure-based scoring

LLM(Qwen2.5-72B-Instruct)이 저자 프로필만으로 학술 협력 관계를 예측할 수 있는지 OpenAlex의 9.96M 저자 네트워크에서 검증한 결과, LLM과 토폴로지 휴리스틱이 상호보완적인 서로 다른 신호를 포착한다.

Motivation

Known: 고전적 링크 예측 방법은 그래프 토폴로지를 활용하여 공저 네트워크에서 강한 성능을 보였으며, 최근 LLM이 자연언어로 인코딩된 그래프 구조를 추론할 수 있음이 보여졌다.
Gap: 대규모 실제 공저 네트워크에서 LLM 기반 링크 예측과 고전적 토폴로지 휴리스틱을 엄밀히 비교한 연구가 부재하며, 사회문화적 요인이 실제 링크 예측 성능에 미치는 영향을 검증한 연구가 부족하다.
Why: 과학적 협력의 구조는 발견의 속도, 아이디어의 확산, 신용할당을 결정하므로 협력 예측은 학술 생태계 이해와 미래 협력 촉진에 중요하다.
Approach: OpenAlex 데이터로부터 3개 시대(Classical AI, DL Explosion, Democratization)의 공저 네트워크를 구성하고, 5개 토폴로지 휴리스틱, node2vec, LLM을 동일한 후보 쌍에 대해 비교 평가하며, 메타데이터 절제 분석과 앵커링 효과 검증을 수행했다.

Achievement

Figure 5: 68 positive pairs plotted by AA score vs. LLM probability, colored by agree-

자연 불균형 클래스에서의 LLM 우수성: 새 엣지 예측에서 LLM이 AUROC 0.714–0.789를 달성하여 Common Neighbors, Jaccard, Preferential Attachment를 능가하고 recall은 92.9%까지 도달
균형 평가에서의 일관된 우위: 모든 시대에서 LLM(AUROC 0.601–0.658)이 최고 휴리스틱(0.525–0.538)을 초과
콜드스타트 예측의 혁신적 성능: 공통 이웃이 없는 78.6–82.7%의 새 협력(모든 이웃 기반 휴리스틱이 0점)을 LLM이 AUROC 0.652로 예측
연구 개념의 지배적 신호: 메타데이터 절제 실험에서 개념 제거 시 AUROC이 0.047–0.084 감소하여 가장 중요한 신호 식별
상호보완성 확인: 그래프 특성 제공이 성능을 저하시키는 앵커링 효과를 통해 LLM과 토폴로지 방법이 독립적 채널로 작동해야 함을 증명
사회문화적 요인의 제한적 역할: 이름 기반 인종 추론과 기관 국가가 토폴로지 이상의 협력 예측력을 제공하지 않음을 발견

How

Figure 1: Ground truth construction pipeline. Three stages progressively narrow the Ope-

OpenAlex 대규모 데이터셋(249.1M 저작물)을 CS 및 AI 개념 필터로 축소하여 9.96M 저자, 108.7M 엣지 추출
경험적 변곡점(네트워크 밀집화 2.61배, 그 후 둔화율 0.99배)을 기반으로 3개 역사적 시대 구성 및 Louvain 커뮤니티 감지로 대규모 평가 세트 선택
각 에라에서 계속된 엣지(train+eval), 새 엣지(eval only), 드롭 엣지(train only) 분류
2-홉 도달 가능 후보 쌍 생성(17.3–21.4%의 새 엣지만 포함)과 추가적으로 공통 이웃이 없는 콜드스타트 쌍 분석
Common Neighbors, Jaccard, Adamic-Adar, Preferential Attachment, Resource Allocation 등 5개 토폴로지 휴리스틱 구현
node2vec 그래프 임베딩(d=128, walk length 40–80) 학습 및 multiple (p, q) 설정 민감도 분석
Qwen2.5-72B-Instruct에 저자 이름, 기관, 저작물, 인용, 개념을 포함한 프로필 프롬프팅으로 이진 링크 예측
그래프 특성(degrees, clustering coefficient, Jaccard score)을 직접 LLM에 제공하는 변형 실험으로 앵커링 효과 검증
개념, 시간 정보, 사회문화적 요인(ethnicity, country) 제거 시 AUROC 변화 추적
AUROC, 정밀도, 재현율, F1 스코어로 자연 불균형과 균형 잡힌 설정 양쪽 평가

Originality

대규모 실제 공저 네트워크(9.96M 저자)에서 LLM 기반 링크 예측을 고전적 토폴로지 휴리스틱과 처음으로 엄밀 비교
콜드스타트 예측(공통 이웃 없는 78.6–82.7%의 새 협력) 성능 분석으로 토폴로지 방법의 근본적 한계 식별 및 LLM의 독특한 장점 드러냄
그래프 특성 제공이 LLM 성능을 저하시킨다는 앵커링 효과 발견으로 멀티모달 통합에 대한 반직관적 인사이트 제시
3개 역사적 시대(Classical AI, DL Explosion, Democratization) 설계로 협력 패턴 변화의 시간적 일관성 검증
사회문화적 요인(ethnicity, country) 절제 분석으로 AI 연구의 인구통계학적 동질성 정량화

Limitation & Further Study

평가 집합이 상위-1 Louvain 커뮤니티로 제한되어 소규모 하위 커뮤니티나 네트워크의 주변부 구조 대표성 부족
2-홉 도달 가능 후보 쌍만 고려하여 전체 저자 쌍의 작은 부분만 평가(17.3–21.4% 커버율)
LLM 프롬프트 설계가 단일 변형(저자 프로필)으로 제한되어 다양한 프롬프팅 전략의 효과 미검증
Qwen2.5-72B-Instruct 단일 모델만 사용하여 다른 LLM(GPT-4, Claude 등)의 일반화 가능성 미확인
OpenAlex 데이터의 노이즈(오작성된 저자 프로필, 속성 누락) 및 CS/AI 개념 필터의 경계 모호성이 평가에 미치는 영향 미분석
후속 연구로 동적 네트워크 모델링(시간 경과에 따른 협력 패턴 진화), 다중 도메인 공저 네트워크 확장, LLM과 그래프 신경망의 효과적 앙상블 방법론 필요

Evaluation

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 이 논문은 대규모 실제 공저 네트워크에서 LLM과 고전적 링크 예측 방법을 최초로 엄밀히 비교하며, 콜드스타트 예측에서 LLM의 근본적으로 다른 신호를 발견해 상호보완성을 입증한 중요한 연구이다. 명확한 실험 설계와 풍부한 분석으로 학술 협력 예측의 미래 방향을 제시하지만, 평가 범위 제한과 단일 LLM 사용이 일반화 가능성을 제약한다.