SciTrust: Evaluating the Trustworthiness of Large Language Models for Science

Motivation

• Known: LLM의 신뢰성 평가는 기존 연구에서 truthfulness, safety, fairness, privacy 등 다양한 관점에서 다루어져 왔다. 특히 Wang et al., Sun et al. 등의 선행 연구는 LLM 신뢰성의 일반적 차원을 평가했고, 과학적 추론 능력을 평가하는 여러 벤치마크들이 존재한다.
• Gap: 기존 연구는 주로 일반 목적의 LLM에 초점을 맞추었으며, 과학 특화 모델의 신뢰성을 체계적으로 평가하는 포괄적 프레임워크가 부족했다. 또한 개방형 질문에 대한 자동 평가 방법론이 제한적이었고, HPC 환경에서의 성능 확장성 분석이 미흡했다.
• Why: 과학 분야에서 LLM을 신뢰할 수 있게 사용하기 위해서는 오직탐성, 환각 저항, 논리적 추론 능력, 아첨 저항 등을 체계적으로 평가하는 것이 필수적이다. 이는 과학적 발견 및 동료 검토 등 중요한 과학적 활동에서 LLM의 위험성을 사전에 파악하고 완화할 수 있게 한다.
• Approach: 본 연구는 SciQ, GPQA-Diamond, ARC-C, MMLU 등의 기존 다지선다형 벤치마크와 새로운 개방형 벤치마크를 활용하였다. 모델 평가는 정확도, ROUGE, BERT, BART 점수, 그리고 LLM-as-judge 기반 채점을 포함한 다중 메트릭을 사용하였으며, Frontier 슈퍼컴퓨터와 H100 테스트베드에서 성능과 확장성을 측정했다.

Achievement

Fig. 1. An example of the prompt used for the multiple-choice datasets. The

주요 성과: 1) 포괄적 평가 프레임워크 제시: 오직탐성, 논리적 추론, 환각 저항, 아첨 저항을 평가하는 통합 프레임워크 구축. 2) 신규 벤치마크 개발: Computer Science, Chemistry, Biology, Physics 도메인의 4가지 개방형 데이터셋 제작. 3) LLM 기반 평가 방법론: 처음으로 LLM-as-judge를 신뢰성 평가에 적용. 4) 모델 성능 비교: Llama3-70B-Instruct가 전반적으로 우수하였고, 과학 모델 중에서는 Galactica-120B와 SciGLM-6B가 각각 강점을 보임. 5) HPC 환경 성능 분석: Frontier 슈퍼컴퓨터에서의 추론 지연 시간 측정 및 확장성 평가.

How

Fig. 1. An example of the prompt used for the multiple-choice datasets. The

• 네 가지 신뢰성 측면(misinformation 저항, 논리적 추론, 환각, 아첨)에 대해 체계적 평가
• 기존 및 신규 개방형 벤치마크 통합 활용
• 0-shot과 2-shot demonstrations으로 다양한 설정에서 평가
• ROUGE, BERT, BART 등 어휘·의미론적 유사도 메트릭 적용
• LLM-as-judge 기반 자동 채점 시스템 도입
• 고성능 컴퓨팅 환경에서의 추론 성능 및 확장성 측정

Originality

• 과학 특화 LLM을 체계적으로 평가하는 포괄적 프레임워크의 최초 제시
• LLM-as-judge를 신뢰성 평가에 통합한 혁신적 방법론
• 과학 도메인 특화 개방형 벤치마크의 신규 개발
• 일반 목적 LLM과 과학 특화 LLM의 비교 분석
• HPC 환경에서의 성능 확장성 평가를 신뢰성 평가와 결합

Limitation & Further Study

제한사항: 1) 모델 수 제한: 평가 대상이 5개 모델로 제한되어 있어 일반화 가능성이 제한적. 2) 벤치마크 규모: 새로운 개방형 벤치마크의 구체적 크기와 데이터 구성이 명확하게 기술되지 않음. 3) LLM-as-judge 신뢰성: judge 모델 자체의 편향이나 오류가 평가 결과에 미치는 영향에 대한 상세 분석 부족. 4) 다국어 평가: 영어 중심 평가로 다언어 과학 콘텐츠에 대한 성능 불명확. 후속연구: 더 많은 과학 특화 모델의 평가, 계층적 프롬프팅을 통한 추론 깊이 분석, 다양한 judge 모델의 일관성 연구, 과학 도메인별 세분화된 신뢰성 프로파일링.

Evaluation

총평: SciTrust는 과학 LLM의 신뢰성을 평가하기 위한 최초의 포괄적 프레임워크로서 학술적·실무적 가치가 높다. LLM-as-judge 방법론과 신규 벤치마크 개발은 혁신적이며, 다양한 과학 도메인에 대한 체계적 평가 결과를 제공한다. 다만 평가 모델 수의 제한과 일부 방법론의 세부 기술이 개선될 여지가 있으며, 평가 벤치마크의 규모와 구성에 대한 명확한 기술이 필요하다. 전반적으로 과학 분야에서 신뢰할 수 있는 AI 개발 방향 제시라는 점에서 중요한 기여를 한다.