The Science Data Lake: A Unified Open Infrastructure Integrating 293 Million Papers Across Eight Scholarly Sources with Embedding-Based Ontology Alignment

Motivation

• Known: 학술 데이터는 메타데이터 및 출처별 스키마가 다양하게 분산되어 있으며, SciSciNet, PubGraph, SemOpenAlex 등 일부 통합 시도가 있으나 각각 단일 소스 기반이거나 스키마를 병합하여 원본 소스 수준의 비교를 불가능하게 한다는 것이 알려져 있다.
• Gap: 기존 시스템들은 여러 데이터베이스를 통합하면서도 각 소스의 독립적인 스키마를 보존하면서 동시에 기록 수준의 교차 비교를 지원하거나, 정형화된 온톨로지와 대규모 학술 데이터를 체계적으로 정렬하는 기능이 부족하다.
• Why: 학술 데이터 프래그멘테이션을 해소하고 다중 소스에 걸친 신뢰성 있는 과학 메트릭스 연구를 가능하게 하며, LLM 기반 연구 에이전트를 위한 구조화된 기계판독형 인프라를 제공하는 것이 중요하다.
• Approach: DuckDB와 Parquet 기반의 뷰 아키텍처로 8개 개방 소스를 통합하되 각 소스의 네이티브 스키마를 보존하고, DOI 정규화를 통해 기록 수준 연계를 구현하며, BGE-large sentence embeddings를 사용한 임베딩 기반 온톨로지 정렬로 OpenAlex 주제를 13개 과학 온톨로지에 매핑한다.

Achievement

Figure 5: Ontology reach heatmap showing the number of high-quality mappings (similarity ≥

핵심 성과 목록:

• 통합 인프라 구축: 8개 소스에서 2억 9,300만 개 논문을 960GB Parquet 파일로 통합, 22개 스키마 153개 SQL 뷰 제공
• 온톨로지 정렬: 4,516개 OpenAlex 주제를 1.3백만 개 용어를 포함한 13개 온톨로지에 매핑, ≥0.65 임계값에서 99.8% 커버리지, F1=0.77 (권장 ≥0.85 지점), TF-IDF/BM25/Jaro-Winkler 대비 우수
• 검증 시스템: 10개 자동 검사, 교차 소스 인용 동의도 분석 (Pearson r=0.76–0.87), 계층화 수동 검수 수행
• 교차 분석 기능: 4개 사례 연구로 단일 데이터베이스로 불가능한 교차 소스 분석 입증
• 개방성 및 접근성: 오픈 소스, 로컬 배포 및 HuggingFace 원격 쿼리 지원, LLM 에이전트용 구조화 문서 제공

How

Figure 4: UMAP projection of BGE-large embeddings for OpenAlex topics (points) and matched

• 데이터 소스 수집 및 정규화: 8개 개방 소스를 JSON Lines, CSV, N-Triples 등 네이티브 형식에서 Apache Parquet 칼럼 형식으로 변환
• 아키텍처 설계: DuckDB 뷰 레이어를 통해 Parquet 파일에 대한 스키마 기반 추상화 제공, 소스별 네이티브 스키마 보존
• DOI 기반 기록 연계: DOI 정규화를 통해 8개 소스에서 같은 논문 기록을 식별 및 연결
• 동적 스키마 발견: 업스트림 소스 변화에 대응하기 위해 하드코딩된 스키마 대신 Python 스크립트로 엔티티 타입 및 칼럼 구조 자동 발견
• BGE-large 임베딩 기반 온톨로지 정렬: OpenAlex 주제 문자열을 BGE-large 문장 임베딩으로 인코딩, 13개 과학 온톨로지 용어와의 유사도 계산, 임계값 기반 매핑
• 검증: 자동 데이터 품질 검사, 소스 간 인용 일치도 상관분석, 300개 쌍 금표준 평가 수행

Originality

• 다중 소스 스키마 보존: 기존 시스템(PubGraph, SemOpenAlex)과 달리 8개 독립 소스의 네이티브 스키마를 보존하면서 동시에 기록 수준 연계를 제공하는 아키텍처 설계의 창신성
• 동적 스키마 발견: 업스트림 소스 변화에 자동으로 적응하는 Python 기반 메타프로그래밍 접근법으로 인프라 지속성 확보
• 대규모 임베딩 기반 온톨로지 정렬: 4,516개 OpenAlex 주제를 13개 과학 온톨로지(1.3백만 용어)에 매핑하는 것은 스케일과 체계성에서 기존 작업을 초과
• 교차 소스 비교 프레임워크: 단일 소스가 아닌 8개 소스에 걸친 동시 검증 및 비교 분석 기능의 독창성

Limitation & Further Study

• 스냅샷 기반 설계: 정기적인 업데이트 메커니즘 부재로 시간 경과에 따른 데이터 신선도 유지 어려움
• 로컬 저장소 요구사항: ~1TB 로컬 스토리지 필요로 리소스 제약이 있는 연구팀의 접근 제한
• 온톨로지 정렬의 의존성: BGE-large 임베딩 품질에 의존하며, 장문의 정의문을 다루는 성능 평가 부족
• 검증 데이터 규모: 온톨로지 정렬 평가에 300개 쌍만 사용하여 통계적 신뢰성 제한
• 후속 연구 필요: (1) 실시간 또는 점진적 업데이트 메커니즘 개발, (2) 온톨로지 정렬 성능을 더 큰 다언어 평가 데이터로 확장, (3) 4개 사례 연구를 넘어선 광범위한 교차 소스 응용 분석

Evaluation

총평: 본 논문은 학술 데이터 통합의 오랜 난제를 실질적으로 해결하기 위해 설계된 잘 구성된 인프라 시스템으로, 다중 소스 스키마 보존, 동적 적응성, 규모 있는 온톨로지 정렬 방법을 통해 과학 메트릭스 연구 커뮤니티에 유용한 자원을 제공한다. 다만 스냅샷 기반 설계와 제한된 검증 규모가 운영상 및 방법론적 개선의 여지를 남긴다.