Classical RAG for Semantic Search & Quantum Modules for Research Evaluation

Motivation

Known: RAG는 LLM의 외부 지식 통합을 통해 팩트 정확성을 향상시킬 수 있으며, Vector embedding과 Knowledge Graph 기반 접근법이 주요 구현 방식으로 알려져 있다.
Gap: 고전 RAG 시스템은 기술 문헌의 복잡한 의미적 모호성(semantic ambiguity)과 다의성(polysemy)을 처리하는 데 한계가 있으며, Knowledge Graph 구축 과정에서 중요 정보 손실이 발생한다.
Why: Research Evaluation은 밀집된 과학 지식의 정확한 검색과 합성을 요구하는데, 현재의 이진 컴퓨팅 기반 RAG는 복잡한 구성적 의미론을 처리하지 못해 성능 한계에 직면해 있다.
Approach: 30,000개 문서 코퍼스를 대상으로 세 가지 RAG 아키텍처의 성능을 실증적으로 비교하며, 고전 방식의 실패점을 양자 이론적 솔루션(QNLP)에 매핑하여 하이브리드 프레임워크를 제안한다.

Achievement

Figure 2 . Comparison of Metrics across the RAG Approaches

Vector RAG 성능 우위 확인: MongoDB 기반 Vector RAG가 factual accuracy와 coherence 측면에서 다른 접근법을 현저히 상회함을 실증
고전 RAG의 한계 규명: KG 기반 접근법이 자동 추출 단계에서 핵심 정보를 손실하며, 언어적 모호성과 문맥 유지에서 내재적 제약이 있음을 확인
QNLP 기반 솔루션 제시: Qubit의 superposition과 entanglement을 활용하여 고전 방식이 해결하지 못한 복잡한 의미적 관계와 장거리 의존성을 표현 가능함을 이론적으로 입증

How

Figure 1. System Architecture

Sentence-transformers/all-MiniLM-L6-v2 모델을 이용한 384차원 embedding 생성 및 MongoDB Atlas Vector Search를 통한 코사인 유사도 검색
Qwen3 기반 Extraction LLM으로 엔티티 및 관계를 JSON 형식으로 추출하여 Neo4j 데이터베이스에 동적 Knowledge Graph 구축
150개의 수작성 질문 세트(도메인 외 질문 포함)를 대상으로 BLEU, ROUGE-L 자동 평가 및 인간 평가를 통한 엄격한 검증
세 가지 아키텍처가 동일한 synthesis LLM(Llama4 Scout)을 사용하여 검색 컴포넌트의 성능 차이만 격리 평가

Limitation & Further Study

QNLP 모듈의 구현 세부사항이 명시되지 않아 실제 양자-고전 하이브리드 시스템의 구체적 구현과 성능 평가가 누락됨
30,000개 문서 코퍼스가 Wikipedia, History.com, AP News, 여행 블로그 등 다양하지만 과학 논문 위주의 research evaluation에 최적화되지 않았을 가능성
Plain LLM 기준선이 기본 Llama4만 사용되어, 다른 강력한 기준선(fine-tuned LLM, 고급 prompting 기법)과의 비교 부재
후속연구: 실제 QNLP 양자 회로 구현과 고전 RAG와의 성능 비교 필요; 과학 문헌 기반 대규모 코퍼스로 재실험; 다양한 LLM 모델 및 기준선 추가

Evaluation

Novelty: 2/5 Technical Soundness: 2/5 Significance: 2/5 Clarity: 3/5 Overall: 2/5

총평: 본 논문은 고전 RAG 아키텍처의 체계적 비교라는 실증적 기여를 제시하나, 핵심 제안인 QNLP 모듈이 이론적 제시에 그쳐 실제 구현과 성능 검증이 완전히 부재하여 학술적 엄밀성이 크게 부족하다. 또한 코퍼스 선택과 기준선 설계의 한계로 인해 결론의 일반화 가능성이 낮다.