SciHorizon: Benchmarking AI-for-Science Readiness from Scientific Data to Large Language Models

Motivation

• Known: 기존 AI readiness 평가 프레임워크들(예: Hiniduma et al.의 taxonomy, FAIR principles, ESIP Data Readiness Cluster 체크리스트)과 과학 도메인 벤치마크들(GSM8K, MATH, ScienceQA, JEEBench 등)이 산재되어 있으나 통합적이고 포괄적인 평가 체계가 부족한 상황이다.
• Gap: 기존 연구들은 다음의 한계를 갖는다: (1) 과학 데이터의 AI 준비도 평가가 특정 분야에 국한되거나 포괄적이지 못함, (2) LLM 벤치마크가 대부분 특정 학문 분야에만 집중하며 다학제적 통합 평가 프레임워크가 부족함, (3) LLM의 과학적 가치관(학문적 정직성, 공정성, 투명성)에 대한 체계적인 평가가 없음.
• Why: AI-for-Science 시대에 고품질의 과학 데이터와 능력 있는 LLM 모두가 필수적이므로, 이들을 통합적으로 평가할 수 있는 프레임워크가 필요하다. 또한 다양한 학문 분야의 데이터 자원과 AI 모델의 준비도를 체계적으로 파악하는 것이 과학적 진보를 가속화하는 데 중요하다.
• Approach: SciHorizon은 두 가지 핵심 컴포넌트로 구성된다: (1) 과학 데이터 평가—Quality(Completeness, Accuracy, Consistency, Timeliness), FAIRness, Explainability, Compliance의 4개 차원과 15개 세부차원으로 약 1,500개의 데이터셋(2018-2023년 peer-reviewed journal의 데이터 자원 논문) 분석, (2) LLM 평가—Knowledge, Understanding, Reasoning, Multimodality, Values의 5개 지표 기반 16개 평가 차원으로 20개 이상의 오픈소스/폐쇄형 LLM 평가.

Achievement

Fig. 1: Overview of the SciHorizon platform.

주요 성과: - 통합 평가 프레임워크 제시: 과학 데이터와 LLM을 아우르는 포괄적이고 계층적인 평가 체계 개발, - AI-ready 데이터셋 추천 제공: Earth Sciences와 Life Sciences 분야의 엄선된 데이터셋 추천 목록 제시, - 다학제적 LLM 평가: 수학, 물리, 화학, 생명과학, 지구우주과학 등 5개 분야를 아우르는 벤치마크 구축, - 공개 플랫폼 제공: www.scihorizon.cn에서 모든 평가 결과와 데이터 공개, - 과학적 가치관 평가 도입: 기존 벤치마크에서 부재했던 academic integrity, fairness, transparency 등의 평가 차원 추가.

How

Fig. 1: Overview of the SciHorizon platform.

• 2018-2023년 peer-reviewed journal(Scientific Data, ESSD 등)의 데이터 자원 논문으로부터 약 1,500개 데이터셋 수집 및 분석, • Quality, FAIRness, Explainability, Compliance 4개 주요 차원별로 세부 평가 지표 설계 및 적용, • Knowledge, Understanding, Reasoning, Multimodality, Values 5개 핵심 지표를 기반으로 16개 평가 차원 개발, • 오픈소스(Llama, Mistral 등) 및 폐쇄형(GPT-4, Claude 등) 20개 이상의 대표적 LLM에 대해 체계적 벤치마킹 수행, • 평가 결과를 온라인 플랫폼을 통해 공개 및 상호작용 가능하게 제공.

Originality

• 과학 데이터와 LLM을 통합하는 포괄적 벤치마킹 프레임워크를 처음으로 제시, • 기존 Data Readiness 평가와 FAIR principles을 과학 도메인의 AI 준비도 맥락에서 재구성, • 과학적 가치관(academic integrity, fairness, transparency)을 LLM 평가에 처음으로 체계적으로 포함, • 다학제적 과학 분야를 아우르는 통합 벤치마크 스위트 개발.

Limitation & Further Study

• 데이터 커버리지: 2018-2023년 peer-reviewed journal 중심으로 수집되어 회색 문헌(grey literature)이나 특정 학문 분야의 대규모 데이터가 누락될 수 있음, • LLM 선정: 주요 오픈소스/폐쇄형 20개 모델 중심으로 평가되어 신규 모델이나 소규모 도메인 특화 모델에 대한 평가 부족 가능, • 정량화의 어려움: FAIRness, Explainability, Compliance 등 일부 차원은 주관적 평가 요소를 포함할 수 있음, • 후속 연구 방향: (1) 더 세밀한 과학 도메인별 특화 평가 기준 개발, (2) 동적 벤치마크 업데이트 메커니즘 구축, (3) 평가 차원별 가중치 설정 방법론 연구.

Evaluation

총평: SciHorizon은 AI-for-Science 분야의 준비도를 종합적으로 평가하기 위한 중요한 프레임워크를 제시하며, 과학 데이터의 AI 준비도와 LLM의 과학적 역량을 체계적으로 벤치마킹할 수 있는 통합 플랫폼을 제공한다. 다학제적 접근과 공개 리소스 제공을 통해 AI-for-Science 커뮤니티에 유의미한 기여를 할 것으로 기대된다.