저자: Dirk Groeneveld, Iz Beltagy, Pete Walsh, Akshita Bhagia, Rodney Kinney, Oyvind Tafjord, Ananya Harsh Jha, Hamish Ivison, Ian Magnusson, Yizhong Wang, Shane Arora, David Atkinson, Russell Authur, Khyathi Raghavi Chandu, Arman Cohan, Jennifer Dumas, Yanai Elazar, Yuling Gu, Jack Hessel, Tushar Khot, William Merrill, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Valentina Pyatkin, Abhilasha Ravichander, Dustin Schwenk, Saurabh Shah, Will Smith, Emma Strubell, Nishant Subramani, Mitchell Wortsman, Pradeep Dasigi, Nathan Lambert, Kyle Richardson, Luke Zettlemoyer, Jesse Dodge, Kyle Lo, Luca Soldaini, Noah A. Smith, Hannaneh Hajishirzi | 날짜: 2024-06-07 | DOI: 10.48550/arXiv.2402.00838 📄 PDF
Essence
Figure 1: Accuracy score progression of OLMo-7B on 8 core end-tasks score from Catwalk evaluation suite
OLMo는 완전히 공개된 언어 모델로 학습 데이터, 훈련 코드, 평가 코드를 모두 함께 공개하여 언어 모델에 대한 과학적 연구를 가능하게 한다.
Evaluation
Novelty: 3/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5
총평: OLMo는 완전한 개방성과 투명성을 바탕으로 언어 모델 연구의 새로운 표준을 제시하며, 과학적 재현성과 커뮤니티 혁신을 크게 가능하게 하는 중요한 기여이다.
같이 보면 좋은 논문
기반 연구BERT의 사전훈련 방법론이 OLMo와 같은 대규모 언어모델 개발의 핵심 기반 기술을 제공한다.
기반 연구도메인 적응을 위한 언어모델 지속 사전훈련 방법이 OLMo의 과학적 연구 활용 방향과 직접 연관된다.
기반 연구기초 모델을 과학 발견에 활용하기 위한 방법론은 완전히 공개된 언어 모델인 OLMo를 기반으로 투명하게 검증될 수 있다.
기반 연구LLM의 연구 자금 및 출판에 대한 영향 분석을 이해하기 위해 완전 공개 LLM의 기술적 특성과 과학적 연구 가능성을 파악하는 데 도움이 된다.
다른 접근과학 텍스트에 특화된 SciBERT와 달리 OLMo는 완전 공개 방식으로 언어모델 과학 연구를 가능하게 하는 대안적 접근이다.
다른 접근OpenAlex는 학술 문헌의 완전 공개 인덱스를 제공하는 반면, OLMo는 언어 모델 자체를 완전히 공개하여 과학 연구 인프라의 개방성을 다른 레이어에서 추구한다.
다른 접근Gemma 시리즈의 이전 버전 또는 유사 경량 모델에 관한 비교 연구이다
다른 접근언어과학 분야 LLM 적용의 다른 프레임워크를 제시한다.
후속 연구적대적 프롬프팅과 대규모 언어 모델 활용을 다루어 OLMo와 같은 공개 모델의 과학 연구 적용 가능성을 확장한다.
후속 연구사전학습 및 후학습 기법의 이론적 기초가 되는 연구
후속 연구OLMo는 LLM의 과학적 연구를 가속하기 위한 공개 모델을 제공하며, LLM 시대 과학적 생산성 변화를 분석하는 연구의 실증적 기반이 된다.
후속 연구SPECTER2 유사도 0.92 기준으로 'Representative vs. Load-bearing Layers: A Dissociation in Genomic Foundation Models'의 AI4S 방법론을 'OLMo: Accelerating the Science of Language Models'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.
후속 연구SPECTER2 유사도 0.92 기준으로 'Scaling ECG-Language Models: A Comparative Study of PEFT-Based Adaptation Across Backbone Architectures'의 AI4S 방법론을 'OLMo: Accelerating the Science of Language Models'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.
후속 연구SPECTER2 유사도 0.91 기준으로 'Scaling Laws of Global Weather Models'의 AI4S 방법론을 'OLMo: Accelerating the Science of Language Models'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.
후속 연구SPECTER2 유사도 0.91 기준으로 'The Geometry of Updates: Fisher Alignment at Vocabulary Scale'의 AI4S 방법론을 'OLMo: Accelerating the Science of Language Models'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.
후속 연구SPECTER2 유사도 0.89 기준으로 'Which Regular Languages Admit Provably Correct RNN Implementations? A Lattice-Theoretic Characterisation via Forward-Invariant Sets'의 AI4S 방법론을 'OLMo: Accelerating the Science of Language Models'의 과학 생산·평가 맥락과 함께 보면 연구 자동화의 의미를 입체적으로 볼 수 있다.
응용 사례학술 논문에서 LLM 사용 비율을 정량화하는 연구로, OLMo와 같은 공개 LLM의 과학계 확산을 측정하는 응용 연구이다.
응용 사례완전 공개된 OLMo 모델은 책임 있는 연구 평가에 LLM을 활용하는 Leiden Manifesto 확장 논의에서 투명성 요건을 충족하는 구체적 사례가 된다.
응용 사례ChatGPT의 스타일 편향 연구와 비교하여 완전 공개된 OLMo 모델이 연구 평가 편향 분석에 어떻게 활용될 수 있는지 파악할 수 있다.
반론/비판LLM 기반 과학 가속을 위한 OLMo 공개의 의의는 심리과학 재현성 위기 논의와 대조하여 AI 시대 과학적 재현성 문제를 새롭게 조명한다.
