/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/114_Augmented_Language_Models_a_Survey

Motivation

• Known: 기존 LLM(Large Language Model)은 방대한 파라미터와 학습 데이터를 통해 memorization과 compositionality 능력을 획득해 language understanding, text generation 등에서 뛰어난 성능을 보여왔으며, Copilot, ChatGPT 등 실제 제품에 적용되고 있다.
• Gap: 그러나 LLM은 hallucination, 산술 오류, reasoning chain에서의 실수 등 한계를 가지며, 이러한 능력은 모델 크기(scale)에 따라 emergent하게 나타나 학습 및 유지에 비효율적이다. 저자들은 이러한 문제가 LM이 단일 parametric 모델과 제한된 context(n개의 토큰)만으로 statistical language modeling을 수행하기 때문이라는 근본적 결함에서 비롯된다고 주장하며, reasoning과 tool 사용을 함께 다루는 통합적 관점의 서베이가 부재했음을 지적한다.
• Why: ALM 관점은 LM의 context를 non-parametric 방식으로 확장함으로써 interpretability, consistency, scalability와 같은 전통적 LM의 고질적 한계를 해결할 잠재력을 지니며, LM을 autonomous agent로 발전시키는 방향성을 제시한다는 점에서 중요하다.
• Approach: reasoning(복잡한 task를 하위 task로 분해), tool 사용(retriever, code interpreter, search engine, robotic arm 등 external module 호출), act(virtual/physical world에 영향을 미치는 tool 호출)라는 세 가지 축으로 기존 연구를 분류하고, 이들이 heuristic으로 결합되는지 혹은 supervision/reinforcement learning을 통해 학습되는지에 따라 다시 세분화하여 리뷰한다.

Achievement

Other recent works improve the reasoning abilities of pre-trained LMs via fine-tuning. Zelikman et al. (2022)

1. 통합적 개념 정의: reasoning, tool, act라는 용어를 ALM 맥락에서 명확히 정의하고 이들을 하나의 프레임워크(missing token prediction objective) 아래 통합적으로 설명하였다.
2. 체계적 분류 체계 제시: Chain-of-Thought 프롬프팅, recursive prompting, fine-tuning을 통한 reasoning 강화 기법과 retrieval-augmented LM, 코드 인터프리터, 웹 탐색, 로봇 조작 등 tool 활용 기법을 망라적으로 정리하였다.
3. 학습 방식에 따른 분류: heuristic 기반 결합과 supervision/RL을 통한 학습 기반 결합을 구분하여 향후 연구 방향(limitations and future directions)을 제시하였다.
4. ALM이 기존 LM 성능을 상회함을 확인: 여러 벤치마크에서 ALM이 일반 LM보다 우수한 성능을 보임을 종합적으로 보고하였다.

How

• Chain-of-Thought(few-shot/zero-shot) 프롬프트를 통한 reasoning 유도 방식(Fig 1, Fig 2) 검토
• recursive prompting(Fig 3)을 통한 복잡한 task의 단계적 분해 방식 분석
• fine-tuning을 통해 명시적으로 reasoning 능력을 가르치는 접근(Fig 4) 검토
• retrieval-augmented LM, search engine 질의, 웹 탐색, symbolic module/code interpreter 호출, 로봇 팔 등 physical/virtual action 사례(Fig 5의 iterative approach 포함) 정리
• LM이 tool 사용과 reasoning을 supervision 또는 reinforcement learning을 통해 학습하는 방법론 비교

Originality

• 기존에는 reasoning과 tool 사용이 개별적으로 다뤄졌으나, 본 논문은 이를 missing token prediction이라는 공통 objective 하에 하나의 통합된 개념(ALM)으로 재정의한 최초의 시도이다.
• reasoning, tool, act라는 세 개념을 명확히 구분하면서도 상호 연관성을 논증하여 새로운 분류체계를 제안하였다.
• LM을 단순 언어모델링을 넘어 autonomous agent로 바라보는 관점을 제시하였다.

Limitation & Further Study

• 서베이 특성상 특정 실험적 검증이나 정량적 비교는 부족하며, 저자들이 선택한 논문 범위에 따라 편향이 있을 수 있다.
• reasoning이 실제로 "추론"인지 단순히 context 확장을 통한 likelihood 증가인지에 대한 근본적 논의는 미해결로 남아있다.
• 향후 연구는 reasoning과 tool 사용을 통합적으로 학습하는 end-to-end 방법론, 그리고 다양한 tool 조합에 대한 일반화 성능 평가가 필요하다.

Evaluation

총평: ALM이라는 통합적 개념을 통해 reasoning과 tool 사용 연구를 체계적으로 정리한 시의적절하고 유용한 서베이로, 이후 연구자들에게 명확한 분류체계와 방향성을 제공한다.