Improving RAG for LLM-based Mental Health Risk Detection through Contrastive Embeddings

Motivation

• Known: RAG는 backbone fine-tuning 없이 관련 예시를 검색해 프롬프트에 추가함으로써 LLM의 factual judgement와 domain adaptability를 향상시키는 방법으로 널리 사용되어 왔다. contrastive learning(SimCSE, Triplet Loss 등)은 텍스트 생성 및 cross-lingual 응용 등에서 의미 표현을 개선하는 데 활용되어 왔다.
• Gap: 정신건강 위험 탐지 텍스트는 표면적으로 유사하지만 위험 라벨이 상반되는 경우가 많아(자살 신호가 텍스트의 일부에만 존재), 기존 RAG는 semantic similarity만으로 검색을 수행하여 misleading retrieval evidence를 도입하는 retrieval ambiguity 문제를 겪는다.
• Why: LLM과의 상호작용에서 사용자가 자살 의도나 심리적 고통을 노출하는 경우가 늘고 있어, 이를 정확히 인식해 조기 개입을 지원하는 것은 중요한 사회적 가치를 가지며, 특히 backbone fine-tuning 없이 비용 효율적으로 성능을 향상시키는 방법은 실용적 중요성이 크다.
• Approach: encoder g(·)를 contrastive loss(SimCSE, Triplet Loss, HAR Loss)로 학습시켜 'suicide-suicide' 샘플 간 임베딩 거리를 좁히고 'suicide-non-suicide' 샘플 간 거리를 넓힘으로써 RAG 검색 품질을 향상시키는 프레임워크를 제안한다.

Achievement

1. RAG의 효과 확인: zero-shot 대비 RAG few-shot이 특히 작은 모델(Qwen3-0.6B, Qwen3-1.7B)과 binary classification에서 큰 성능 향상을 보였다.
2. Triplet Loss의 일관된 우위: 세 가지 contrastive objective 중 Triplet Loss 기반 contrastive learning이 대부분의 실험 조건에서 baseline RAG(사전학습 encoder)를 일관되게 능가했으며, 특히 3-class 분류에서 이점이 두드러졌다.
3. 비용-성능 트레이드오프 입증: RAG로 증강된 소형 LLM이 증강 없는 대형 LLM과 comparable한 성능을 달성함을 보여, 실용적인 배포 지침을 제시했다.
4. Thinking mode 분석: 소형 LLM은 thinking mode에서 이득을 보는 반면 대형 LLM은 그 이득이 감소하거나 오히려 부정적으로 나타남을 발견했다.

How

• Reddit 기반 공개 데이터셋 2개(binary, 3-class) 사용, Kaggle에서 획득, 균형 잡힌 고정 test subset 구성
• 4개의 크기가 다른 Qwen3 모델(0.6B, 1.7B, 4B, 8B)로 실험하여 RAG 효과를 모델 규모별로 격리 평가
• encoder는 all-MiniLM-L6-v2(MiniLM) 사용, 세 가지 contrastive loss(SimCSE, Triplet Loss, HAR Loss)로 fine-tuning하여 임베딩 품질 비교
• zero-shot, 표준 RAG few-shot(frozen encoder), MLP classifier 추가 fine-tuning RAG, contrastive 임베딩 RAG 등 다양한 조건 비교, thinking/non-thinking mode 모두 평가
• Accuracy, Precision, Recall, F1, AUC 등 5개 지표로 평가하고 K-shot 수, PCA 시각화, precision-recall 분석 등 추가 분석 수행

Originality

• 일반적인 semantic similarity 기반 RAG가 아니라, 정신건강 위험 탐지에서 특유한 실패 모드(표면적으로 유사하지만 라벨이 상반되는 텍스트)를 명시적으로 타겟팅한 contrastive learning 기반 RAG 개선 프레임워크 제안
• SimCSE(label-free), Triplet Loss(hard negative mining), HAR Loss(hardness-aware reweighting) 세 가지 contrastive objective를 체계적으로 비교하여 어떤 제약이 위험 탐지 검색 품질 개선에 가장 효과적인지 분석
• 모델 크기와 RAG/contrastive learning 증강 간의 비용-성능 트레이드오프를 정량적으로 제시하고, thinking mode의 모델 크기별 상반된 효과를 규명

Limitation & Further Study

• 사용된 데이터셋이 공개된 non-clinical Reddit 데이터셋으로, 임상적 검증이나 전문가 라벨링이 이루어지지 않아 실제 임상 배포에는 한계가 있음(저자들도 명시)
• contrastive learning variant 간 성능 차이가 전반적으로 미미(marginal)하며, 특히 binary classification에서는 사전학습 encoder가 이미 near-saturation 상태라 개선 여지가 제한적
• 3-class 설정에서는 대부분의 contrastive objective가 'depression'과 'suicidewatch' 라벨 간 semantic overlap으로 인한 노이즈를 충분히 완화하지 못함
• 단일 encoder(MiniLM) 및 단일 모델 계열(Qwen3)에 한정된 실험으로, 다른 encoder나 LLM 계열에 대한 일반화 가능성은 추가 검증이 필요
• 후속 연구로 임상 전문가와의 협업을 통한 데이터셋 검증, 더 정교한 contrastive objective 설계, 다양한 LLM 계열로의 확장이 필요

Evaluation

총평: 정신건강 위험 탐지라는 중요한 실제 응용에서 RAG의 근본적 한계(라벨 상반 텍스트 간 검색 모호성)를 명확히 규명하고 contrastive learning으로 실용적 개선을 제시한 점이 인상적이나, contrastive variant 간 성능 차이가 제한적이고 non-clinical 데이터셋에 국한된 검증이라는 점에서 추가 검증이 필요한 워크숍 수준의 견고한 초기 연구다.