Large Language Models

Motivation

• Known: Symbolic AI와 connectionist AI라는 두 가지 전통적 접근법이 존재하며, transformer 기반 LLM들이 GPT 시리즈를 포함해 빠르게 발전하여 ChatGPT와 같은 시스템이 언어 이해, 대화, 번역, 코드 작성 등에서 이전 시스템을 능가하는 성능을 보인다는 것이 알려져 있다.
• Gap: Next-word prediction이라는 단순해 보이는 목표로 학습된 모델이 어떻게 word problem 풀이와 같은 지능을 요구하는 작업을 수행할 수 있는지에 대한 이해가 부족하며, LLM의 내부 작동 원리를 설명하는 연구는 아직 초기 단계에 머물러 있다.
• Why: LLM 기술의 급속한 발전 속도를 고려할 때 AI의 능력과 한계를 예측하고 그 개발 및 사용에 대한 현명한 결정을 내리기 위해서는 이 기술을 더 잘 이해하는 것이 시급하며, 이는 과학자와 일반 대중 모두에게 중요한 사회적 함의를 가진다.
• Approach: 저자는 수학/물리학 배경을 가진 독자를 위해 AI의 역사적 배경(symbolic vs connectionist)부터 시작하여 통계적 언어 모델의 정의, transformer 아키텍처의 상세한 수학적 설명, 성능 측정 방법, 그리고 LLM의 작동 원리에 대한 현재의 해석적 접근법들을 순차적으로 설명하는 교육적/설문적 방법을 취한다.

Achievement

Figure 1:

1. 역사적 맥락 정리: symbolic AI와 connectionist AI의 발전 과정을 정리하고, 이 두 흐름이 어떻게 현대 machine learning과 LLM으로 수렴했는지 설명한다.
2. Transformer 아키텍처의 상세 설명: 수학적으로 엄밀한 형태로 transformer 구조를 기술하여 물리학자·수학자들이 접근 가능하도록 한다.
3. LLM 능력의 실증적 사례 제시: Minerva와 같은 모델이 정량적 추론 문제(Figure 1의 분산 계산 문제)를 해결하는 예시를 통해 LLM의 놀라운 능력을 보여준다.
4. 해석 가능성 연구 개관: LLM이 어떻게 작동하는지 이해하려는 현재의 다양한 연구 접근법들을 정리하여 소개한다.

How

Figure 2: Language modeling performance as a function of model size, dataset

• AI의 역사를 symbolic 접근(형식 논리, context-free grammar, 지식 그래프, expert system인 Cyc 등)과 connectionist 접근(신경망, 딥러닝)으로 나누어 개관
• 통계적 언어 모델의 정의와 GPT-4까지의 transformer 기반 LLM 역사를 서술
• LLM의 성능을 측정하는 벤치마크와 지표들을 논의
• 단순한 언어 모델부터 시작하여 transformer 아키텍처를 수식과 함께 정밀하게 설명 (§5, §6)
• Lewkowycz et al.의 Minerva 논문에서 가져온 정량적 추론 문제 사례(Figure 1)를 통해 LLM의 실제 능력을 예시
• Figure 2를 통해 모델 크기, 데이터셋 크기 등에 따른 language modeling 성능 변화(scaling law)를 논의
• LLM 작동 원리에 대한 현재의 해석적 접근법들을 §7에서 조사

Originality

• 기존의 LLM 관련 리뷰들이 주로 컴퓨터 과학자나 ML 실무자를 대상으로 하는 것과 달리, 수학/물리학 배경의 독자를 명시적 타겟으로 삼아 수식 중심의 엄밀한 설명을 제공
• Symbolic AI와 connectionist AI라는 AI 역사의 큰 흐름 속에서 LLM을 위치시키는 폭넓은 지적 맥락화
• 저자 자신의 string theory 및 quantitative finance 경험을 바탕으로 한 독특한 관점에서 LLM의 작동 원리에 대한 해석적 논쟁(단순 재배열 vs 세계 모델 학습)을 조망

Limitation & Further Study

• 이 논문은 리뷰/강의 노트 성격으로, 새로운 실험적 결과나 이론을 제시하지 않고 기존 연구를 정리하는 데 그친다.
• 발췌된 내용만으로는 §7의 해석 가능성 연구에 대한 구체적 내용과 §8의 결론 부분이 충분히 드러나지 않아 심층적 기여를 평가하기 어렵다.
• 2023년 7월 작성 이후 GPT-4 및 후속 모델들에 대한 정보가 제한적일 수 있으며, OpenAI의 GPT-4 아키텍처 비공개 방침으로 인해 최신 최상위 모델에 대한 상세 설명이 제한된다는 점을 저자 스스로도 언급한다.
• 후속 연구로는 LLM의 해석 가능성(interpretability) 및 hallucination, 논리적 추론의 신뢰성 문제에 대한 기술적 해법의 심화 연구가 필요하다.

Evaluation

총평: 이 논문은 새로운 연구 결과를 제시하기보다는 수학·물리학 배경의 독자에게 LLM의 역사, 아키텍처, 작동 원리에 대한 명료하고 체계적인 입문서를 제공하는 우수한 교육적 자료이며, 해당 분야에 새로 진입하려는 이론 과학자들에게 특히 유용할 것이다.