Classical RAG for Semantic Search & Quantum Modules for Research Evaluation

Motivation

• Known: RAG는 LLM의 외부 지식 통합을 통해 팩트 정확성을 향상시킬 수 있으며, Vector embedding과 Knowledge Graph 기반 접근법이 주요 구현 방식으로 알려져 있다.
• Gap: 고전 RAG 시스템은 기술 문헌의 복잡한 의미적 모호성(semantic ambiguity)과 다의성(polysemy)을 처리하는 데 한계가 있으며, Knowledge Graph 구축 과정에서 중요 정보 손실이 발생한다.
• Why: Research Evaluation은 밀집된 과학 지식의 정확한 검색과 합성을 요구하는데, 현재의 이진 컴퓨팅 기반 RAG는 복잡한 구성적 의미론을 처리하지 못해 성능 한계에 직면해 있다.
• Approach: 30,000개 문서 코퍼스를 대상으로 세 가지 RAG 아키텍처의 성능을 실증적으로 비교하며, 고전 방식의 실패점을 양자 이론적 솔루션(QNLP)에 매핑하여 하이브리드 프레임워크를 제안한다.

Achievement

Figure 2 . Comparison of Metrics across the RAG Approaches

• Vector RAG 성능 우위 확인: MongoDB 기반 Vector RAG가 factual accuracy와 coherence 측면에서 다른 접근법을 현저히 상회함을 실증
• 고전 RAG의 한계 규명: KG 기반 접근법이 자동 추출 단계에서 핵심 정보를 손실하며, 언어적 모호성과 문맥 유지에서 내재적 제약이 있음을 확인
• QNLP 기반 솔루션 제시: Qubit의 superposition과 entanglement을 활용하여 고전 방식이 해결하지 못한 복잡한 의미적 관계와 장거리 의존성을 표현 가능함을 이론적으로 입증

How

Figure 1. System Architecture

• Sentence-transformers/all-MiniLM-L6-v2 모델을 이용한 384차원 embedding 생성 및 MongoDB Atlas Vector Search를 통한 코사인 유사도 검색
• Qwen3 기반 Extraction LLM으로 엔티티 및 관계를 JSON 형식으로 추출하여 Neo4j 데이터베이스에 동적 Knowledge Graph 구축
• 150개의 수작성 질문 세트(도메인 외 질문 포함)를 대상으로 BLEU, ROUGE-L 자동 평가 및 인간 평가를 통한 엄격한 검증
• 세 가지 아키텍처가 동일한 synthesis LLM(Llama4 Scout)을 사용하여 검색 컴포넌트의 성능 차이만 격리 평가

Originality

• 연구 평가 도메인에 특화된 세 가지 RAG 아키텍처의 체계적 비교 분석
• 고전 RAG의 구체적 실패점(정보 손실, 의미적 모호성)을 양자 컴퓨팅의 물리적 특성(superposition, entanglement)과 직접 매핑하는 창의적 접근
• QNLP 모듈을 활용한 하이브리드 프레임워크 제안으로, 고전과 양자 기술의 통합 가능성 제시

Limitation & Further Study

• QNLP 모듈의 구현 세부사항이 명시되지 않아 실제 양자-고전 하이브리드 시스템의 구체적 구현과 성능 평가가 누락됨
• 30,000개 문서 코퍼스가 Wikipedia, History.com, AP News, 여행 블로그 등 다양하지만 과학 논문 위주의 research evaluation에 최적화되지 않았을 가능성
• Plain LLM 기준선이 기본 Llama4만 사용되어, 다른 강력한 기준선(fine-tuned LLM, 고급 prompting 기법)과의 비교 부재
• 후속연구: 실제 QNLP 양자 회로 구현과 고전 RAG와의 성능 비교 필요; 과학 문헌 기반 대규모 코퍼스로 재실험; 다양한 LLM 모델 및 기준선 추가

Evaluation

총평: 논문은 실무적 RAG 아키텍처 비교와 이론적 QNLP 솔루션 제시라는 이원적 기여를 시도하나, QNLP의 실제 구현과 검증이 부족하여 양자 우위 주장의 신뢰성이 약하다. 실증 평가 결과는 의미 있으나 제안된 하이브리드 프레임워크의 구체화와 검증이 필요하다.