SciNet: Evaluating AI Agents in Relation-Aware Scientific Literature Retrieval

Motivation

• Known: 기존 검색 에이전트(Deep Research 등)는 keyword- 또는 embedding-based 방법에 의존하여 논문 간 content-level 유사도는 잘 포착하지만, STARK와 같은 벤치마크는 저자·소속 등 구조적 hop만 다루며 논문 간 심층 관계는 다루지 못한다.
• Gap: 현재의 retrieval agent와 벤치마크는 논문 간의 지지·반박, 기술 계보 등 복잡한 relational network를 이해하지 못해 지식 구조의 파편화, 연구 정서(sentiment)의 오독, 집단적 과학 발전 모델링의 실패로 이어진다.
• Why: 과학 문헌 검색에서 relation-aware 능력은 AI Scientist와 같은 자동화된 과학 시스템이 관련 연구를 정확히 식별하고 연구를 기존 문헌 안에 위치시키는 데 필수적이며, 이를 체계적으로 평가할 벤치마크의 부재는 근본적 한계로 지적된다.
• Approach: OpenAlex 기반 269 million 논문 메타데이터베이스와 7개 분야, 2,640개 세부 subfield를 활용해 구조화된 규칙 생성과 전문가 검증을 결합, ego-centric·pair-wise·path-wise 세 수준의 8,940개 relation-aware 태스크를 구축하고 8개 retrieval model(embedding, agentic, deep research)을 평가한다.

Achievement

1. SciNet 데이터셋 구축: 269 million 논문, 7개 도메인, 2,640개 subfield를 아우르는 메타데이터베이스를 기반으로 8,940개의 relation-aware 검색 태스크(ego-centric 2,640개, pair-wise 4,200개, path-wise 2,100개)를 구성했다.
2. 관계 수준의 체계적 정의: scientometrics 지표(novelty, disruptiveness), 논문 간 지지/반박/확장 관계, 그리고 citation network 내 진화 경로(path)라는 세 층위의 관계적 이해를 최초로 정형화했다.
3. 기존 방법론의 근본적 한계 규명: embedding-based, agentic, deep research 세 범주의 8개 모델을 평가한 결과 relation-aware 태스크 정확도가 대체로 20% 미만에 그쳐 현행 retrieval paradigm의 구조적 결함을 실증했다.
4. 다운스트림 활용 가치 입증: SciNet으로 강화된 retrieval agent가 literature review 생성 과제에서 25.3%의 review quality 향상을 보여 relation-aware retrieval의 실용적 가치를 확인했다.

How

• OpenAlex(RELEASE 2025-07-07) 스냅샷을 활용해 269,091,010편의 논문 메타데이터(citation, authorship, abstract 등)를 확보하고 citation context 기반 semantic scientific network를 구축
• 생물학, 의학, 화학, 물리학, 재료과학, 지질학, 인공지능 등 7개 주요 과학 분야와 2,640개 세부 subfield로 계층적으로 조직
• ego-centric task는 novelty/disruptiveness 등 scientometrics 지표를 활용해 생성
• pair-wise task는 논문 전문(full text) 분석을 통해 지지·반박·확장 등 관계를 식별
• path-wise task는 대규모 citation network 탐색을 통해 기초 개념에서 최신 기법까지의 진화 경로를 재구성
• 구조화된 규칙 기반 생성과 전문가 수작업 검증(quality assurance)을 결합해 8,940개 쿼리를 확정
• SciBERT, Qwen3-8B-Embedding, paperQA2 등 embedding/agentic/deep research 3개 범주 8개 모델을 relation-aware task에 대해 평가하고, 다운스트림 literature review 생성 실험으로 실용성 검증

Originality

• 논문 간 관계를 ego-centric, pair-wise, path-wise라는 세 단계 추상화 수준으로 체계적으로 정의한 최초의 프레임워크
• 269 million 논문 규모의 실제 scientific network를 기반으로 구축된 최대 규모의 relation-aware 검색 벤치마크
• 단순 semantic relevance를 넘어 scientometrics 지표(novelty, disruptiveness)와 citation context 기반 sentiment/relation 분석을 결합한 태스크 설계
• 벤치마크 평가에 그치지 않고 literature review라는 실제 다운스트림 응용에서 relation-aware retrieval의 가치를 정량적으로 입증

Limitation & Further Study

• 논문에서 relation 판별(pair-wise 지지/반박 등)의 ground truth 생성 과정이 규칙 기반과 전문가 검토에 의존하므로, 대규모 데이터에서의 라벨 일관성과 편향 가능성에 대한 심층 검증이 부족할 수 있음
• 7개 도메인에 국한되어 있어 인문·사회과학 등 다른 학문 분야로의 일반화 가능성은 확인되지 않음
• 평가된 8개 모델이 최신 대형 Deep Research 시스템 전체를 포괄하지 못할 수 있어, 향후 더 다양한 최신 agent 아키텍처에 대한 지속적 벤치마킹이 필요함
• OpenAlex 메타데이터의 citation 정보 품질과 커버리지에 의존하므로 데이터베이스 자체의 오류나 누락이 태스크 신뢰도에 영향을 줄 수 있음

Evaluation

총평: SciNet은 과학 문헌 검색에서 오랫동안 간과되어 온 relation-aware 능력을 체계적으로 정의하고 대규모로 평가 가능하게 만든 중요한 벤치마크로, 현재 retrieval agent들의 근본적 한계를 명확히 드러내며 후속 연구의 방향을 제시한다는 점에서 매우 의미 있는 기여이다.