Retrieval-Augmented Generation for Large Language Models: A Survey

Motivation

• Known: LLMs은 뛰어난 성능을 보이지만 hallucination, 지식의 시간적 제약, 추론 과정의 불투명성 문제를 가지고 있으며, RAG는 외부 데이터베이스로부터 관련 정보를 검색하여 이러한 문제를 완화하는 방법으로 알려져 있다.
• Gap: 기존 RAG 연구는 방법론에 편중되어 있고 RAG의 체계적인 평가 프레임워크와 종합적인 벤치마킹이 부족하며, RAG의 진화 경로와 세 가지 패러다임 간의 관계를 명확히 정리한 종합 조사 연구가 필요하다.
• Why: RAG는 knowledge-intensive tasks와 hallucination 문제 해결에 실질적인 효과를 보이며 빠르게 발전하고 있지만, 100개 이상의 RAG 연구를 체계적으로 정리하고 평가 방법론을 포괄적으로 제시하는 것은 이 분야의 발전을 가속화하고 실무 적용을 촉진하는 데 중요하다.
• Approach: Naive RAG의 indexing-retrieval-generation 프로세스를 기초로 하여, Advanced RAG와 Modular RAG가 어떻게 초기 방식의 한계(검색 정확도, 생성 품질, 증강 통합)를 개선하는지 분석한다. 또한 retrieval 최적화(indexing, query, embedding), generation(post-retrieval, fine-tuning), augmentation 기술을 구분하여 각 요소의 synergy를 검토한다.

Achievement

Fig. 1. Technology tree of RAG research. The stages of involving RAG mainly include pre-training, fine-tuning, and infer

• RAG 패러다임 분류: Naive RAG(Retrieve-Read), Advanced RAG, Modular RAG의 진화 단계를 명확히 정의하고 각 단계의 특징과 개선점을 체계화.

• 핵심 기술 분석: Retrieval(indexing, query optimization, embedding), Generation(post-retrieval processing, fine-tuning), Augmentation 세 가지 핵심 요소의 상세 분석.

• 평가 프레임워크: 26개 태스크, 약 50개 데이터셋을 포함하는 포괄적인 평가 목표, 평가 지표, 벤치마크 및 평가 도구를 정리.

• 기술 트리 제시: RAG 연구의 발전 경로를 pre-training, fine-tuning, inference 단계별로 시각화하여 역사적 진화 과정을 명확히 함.

How

Fig. 2. A representative instance of the RAG process applied to question answering. It mainly consists of 3 steps. 1) In

• Naive RAG의 세 단계 프로세스(indexing, retrieval, generation)에서 각 단계의 기술적 과제 명시 (precision/recall 문제, hallucination, augmentation coherence 등)

• Advanced RAG와 Modular RAG가 위 과제들을 어떻게 해결하는지 단계적으로 분석

• retrieval 단계의 최적화 방법 (벡터 인덱싱, 쿼리 변환, embedding 개선)

• generation 단계의 post-retrieval processing과 LLM fine-tuning 기법

• 세 가지 augmentation 과정의 특성과 효율성 비교

• 다운스트림 태스크별(question answering, summarization, domain-specific tasks 등) 적용 사례와 평가 메트릭 제시

Originality

• RAG를 세 가지 명확한 패러다임으로 분류하여 진화 경로를 체계적으로 제시 (기존 작업에서는 RAG 방법들을 산발적으로 다룸)

• retrieval, generation, augmentation을 구분하여 각 요소의 독립적 특성과 상호작용을 분석하는 프레임워크

• LLM 시대의 RAG 발전을 pre-training, fine-tuning, inference 세 단계로 구조화

• 평가 프레임워크를 체계적으로 정리하여 기존의 방법론 편향을 시정

Limitation & Further Study

• 논문의 범위가 매우 광범위하여, 각 세부 기술의 심화 분석이 제한적일 가능성 있음

• Naive RAG의 한계(precision/recall 문제, hallucination)가 Advanced 및 Modular RAG에서 완전히 해결되는지에 대한 정량적 비교 분석 부재

• 평가 벤치마크 제시는 포괄적이나, 다양한 평가 메트릭 간의 일관성과 타당성에 대한 메타-분석 부족

• 계산 비용, 레이턴시 등의 실무적 효율성 측면에 대한 논의 제한적

• 향후 연구 방향에 대한 제안이 개괄적이어서 구체적인 기술 로드맵이 부족할 가능성

Evaluation

총평: 이 설문 논문은 RAG의 빠른 발전에 대응하여 100개 이상의 연구를 체계적으로 정리하고 세 가지 패러다임으로 분류하며 포괄적인 평가 프레임워크를 제시함으로써 학계와 산업에 실질적인 기여를 한다. 특히 LLM 시대의 RAG 진화를 명확히 하고 retrieval-generation-augmentation의 상호작용을 분석한 점이 강점이다. 다만 각 세부 기술에 대한 심화 분석과 정량적 비교, 실무적 효율성 논의가 보완되면 더욱 완성도 높은 자료가 될 것으로 판단된다.