저자: Weimin Wu, Alexander C. Furnas, Eddie Yang, Gefei Liu, Akhil Pandey Akella, Xuefeng Song, Dashun Wang, Han Liu | 날짜: 2025-09-25 | DOI: 10.48550/arXiv.2509.21493 📄 PDF
Evaluation
Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5
총평: 과학과 정책 간의 중요한 격차를 해소하기 위한 최초의 전문화된 벤치마크와 데이터셋을 제시하며, 체계적 분류체계와 새로운 평가 메트릭을 통해 LLM의 한계를 명확히 규명하고 미세조정으로 성능 개선을 입증한 의미 있는 연구다.
같이 보면 좋은 논문
기반 연구1015의 S2ORC 대규모 학술 코퍼스는
1016의 Sci2Pol 시스템의 훈련 데이터와 평가 벤치마크 개발에 필요한 학술 텍스트 인프라를 제공한다.
기반 연구1002가 과학 연구의 정책 문서 활용 패턴을 분석한 반면,
1016은 AI를 활용해 과학 논문을 정책 문서로 자동 변환하는 시스템을 개발하여 과학-정책 연결을 강화하려는 실질적 시도를 보여준다.
응용 사례1016의 과학-정책 변환 LLM 시스템은
1002가 분석한 공적 자금 과학의 정책 활용 갭을 AI로 해소하려는 실질적 응용 시도이다.
기반 연구인용 의도 기반 텍스트 생성을 확장하는 관련 연구로 판단된다.
기반 연구테이블 기반 생성 품질 향상을 위한 증거 강조 기법을 확장한다.
기반 연구추론 능력 강화를 위한 언어모델 개발의 연장선상에 있는 연구이다.
기반 연구LLM 기반 번역 기법을 실제 저자원 언어 시나리오에 적용한다.
기반 연구기초 모델을 과학 발견에 활용하는 방법론 연구는 LLM의 과학-정책 변환 작업에 필요한 이론적 기반을 제공한다.
기반 연구과학-정책 변환 태스크의 평가 방법론적 기반
기반 연구연구 성과 예측에 미세조정된 언어모델을 적용하는 실용적 사례이다.
기반 연구과학-정책 번역 태스크에서 LLM을 평가하고 파인튜닝한 연구는 LLM의 과학계량학 적용 시나리오를 구체적으로 실증하는 사례이다.
기반 연구과학 논문을 정책 문서로 번역하는 LLM 평가 연구로, 초당적 과학 인용의 자동화된 분석 가능성을 시사한다.
기반 연구과학-정책 번역을 위한 LLM 활용 연구는 혁신외교에서 전략적 소통 도구로서 AI 기술의 활용 가능성을 탐색하는 확장적 관점을 제공한다.
기반 연구과학 논문을 정책 문서로 변환하는 LLM 평가를 다룬 논문으로, 도서관의 과학-사회 중개를 자동화하는 기술적 가능성과 연결된다.
다른 접근동일한 인용 텍스트 생성 문제를 다른 방식으로 해결한다
다른 접근과학 문서 변환을 위한 다른 LLM 파인튜닝 접근법
다른 접근RA-LLM의 훈련 전략을 유사하게 다루는 관련 서베이
다른 접근유사한 인용 추천/생성 문제를 다른 프레임워크로 해결한다
다른 접근LLM을 활용한 연구 지원 평가라는 상위 맥락에서 관련성이 높다.
다른 접근1016(Sci2Pol)은 과학-정책 변환에서 LLM을 평가하고 파인튜닝하는 연구로,
9069의 학술 검색 LLM 벤치마크와 LLM 학술 능력 평가라는 공통 주제를 공유한다.
다른 접근두 논문 모두 LLM을 과학 연구 워크플로우에 적용하지만,
1016은 과학→정책 변환에,
1022는 과학의 과학 연구 자동화에 초점을 맞춘다.
다른 접근Sci2Pol은 과학 지식이 정책으로 변환되는 과정을 LLM으로 평가하는 연구로,
1043의 물리학 지식의 선택적 정책 활용 분석에 방법론적 보완을 제공한다.
응용 사례물리학 지식이 정책에 선택적으로 활용되는 방식을 분석한 연구는 과학-정책 변환의 현실적 복잡성을 이해하는 응용 맥락을 제공한다.
후속 연구검색 증강 생성(RAG) 기법의 기초적인 방법론을 제공한다
후속 연구Sci2Pol의 벤치마크 및 데이터셋 구축 방법을 확장
후속 연구LLM 기반 텍스트 생성 및 검색 통합의 기반 방법론을 제공한다.
후속 연구1016의 과학-정책 변환 LLM 평가는
1077의 과학 논문에서 LLM 활용 정량화 연구와 함께 읽으면 AI가 학술 지식 전달 체계에 미치는 영향을 종합적으로 이해할 수 있다.
후속 연구SPECTER2 유사도 0.92로 LLM Reasoning and Safety Benchmarks와 LLMs for Scholarly Communication가 맞닿아, 'Sci2Pol: Evaluating and Fine-tuning LLMs on Scientific-to-Policy Brief Generation'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.
후속 연구SPECTER2 유사도 0.91로 Scientific Machine Learning for Dynamics와 LLMs for Scholarly Communication가 맞닿아, 'Sci2Pol: Evaluating and Fine-tuning LLMs on Scientific-to-Policy Brief Generation'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.
후속 연구SPECTER2 유사도 0.94로 Biomedical AI Knowledge Systems와 LLMs for Scholarly Communication가 맞닿아, 'Sci2Pol: Evaluating and Fine-tuning LLMs on Scientific-to-Policy Brief Generation'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.
후속 연구rubric 기반 평가 프레임워크의 이론적 토대를 제공하는 연구로 보인다.
후속 연구IPC 코드와 특허 분류 체계를 활용한 기술 분석의 방법론적 기반을 제공한다.
후속 연구SPECTER2 유사도 0.93로 Biomedical AI Knowledge Systems와 LLMs for Scholarly Communication가 맞닿아, 'Sci2Pol: Evaluating and Fine-tuning LLMs on Scientific-to-Policy Brief Generation'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.
후속 연구SPECTER2 유사도 0.91로 Multimodal Biomedical Data Fusion와 LLMs for Scholarly Communication가 맞닿아, 'Sci2Pol: Evaluating and Fine-tuning LLMs on Scientific-to-Policy Brief Generation'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.
후속 연구SPECTER2 유사도 0.93로 LLM Reasoning and Safety Benchmarks와 LLMs for Scholarly Communication가 맞닿아, 'Sci2Pol: Evaluating and Fine-tuning LLMs on Scientific-to-Policy Brief Generation'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.
후속 연구SPECTER2 유사도 0.91로 Reinforcement Learning Policy Optimization와 LLMs for Scholarly Communication가 맞닿아, 'Sci2Pol: Evaluating and Fine-tuning LLMs on Scientific-to-Policy Brief Generation'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.
후속 연구1041이 LLM이 연구 제안서의 독창성에 미치는 영향을 분석한 것처럼,
1016은 LLM이 과학-정책 변환에서 어떤 역할을 할 수 있는지 평가하는 보완적 연구이다.
후속 연구과학-정책 연결을 평가하기 위한 LLM 파인튜닝 접근이 CTSA 연구의 정책 문서 인용 분석에 방법론적 기반을 제공한다.
반론/비판ChatGPT의 스타일 편향 연구는 LLM 기반 정책 문서 생성 시스템이 가질 수 있는 평가 편향의 위험을 경고하는 대조적 관점을 제공한다.
