Improving demonstration diversity by human-free fusing for text-to-sql

Essence

기준선(좌)과 FUSED(우)의 시연(demonstration) 풀 구성 비교. FUSED는 기존 라벨링 없이도 또는 인간 개입 없이 시연 풀을 합성하고 다양성을 향상시킬 수 있음

본 논문은 대규모 언어모델(LLM)의 문맥 내 학습(in-context learning)을 활용한 Text-to-SQL 작업에서 시연(demonstration) 풀의 다양성을 측정하고 향상시키는 방법을 제안한다. 기존의 인간 라벨링 기반 시연 선택 방식의 낮은 다양성과 높은 비용 문제를 해결하기 위해 FUSED(FUSing itEratively for Demonstrations) 방법을 도입한다.

Motivation

Known: 현재 Text-to-SQL 작업은 LLM 기반 문맥 내 학습이 주류이며, 인간 라벨링된 시연 풀에서 관련된 시연을 선택하는 연구가 진행되고 있음
Gap:
1. 낮은 다양성(Low Diversity): 동일 주석자의 라벨링 데이터는 유사성이 높아 다양성 부족
2. 높은 비용(High Cost): 인간 라벨링에 막대한 노동력 필요
Why: 시연 풀의 다양성이 높을수록 예측 불가능한 사용자 질문들에 대해 더 나은 시연을 제공할 수 있음. 따라서 다양성을 정량적으로 측정하고 체계적으로 향상시키는 방법이 필요함
Approach:
1. 시연 풀 다양성을 측정하는 지표(DM, Diversity Measurement) 제안
2. LLM을 활용하여 기존 라벨링 데이터로부터 또는 처음부터 반복적으로 시연을 합성하는 FUSED 방법 개발

Achievement

기존 라벨링 데이터의 DM 값과 성능 분석. 더 높은 DM을 가진 시연 풀의 존재를 시각적으로 확인

다양성 지표 정의: 사용자 질문 중 시연 풀의 가장 유사한 시연과의 유사도가 최소인 질문을 기반으로 하는 DM 지표 도입. 기존 라벨링의 다양성이 추가로 향상될 수 있음을 증명
성능 개선:
- 기존 라벨링 기반: 평균 3.2% 성능 향상
- 처음부터 합성: 평균 5.0% 성능 향상
- Spider, KaggleDBQA 등 주요 벤치마크에서 검증
비용 절감: 인간 라벨링 없이 LLM 기반 자동 합성으로 라벨링 비용 제거

How

FUSED의 파이프라인: (1) 시연 샘플링, (2) 시연 융합 단계로 구성

FUSED의 반복적 융합 프로세스:

단계 1: 시연 샘플링(Demonstration Sampling)
- 인코더를 사용하여 모든 시연의 질문을 벡터로 인코딩
- K-means 클러스터링으로 유사 시연들을 그룹화
- 서로 다른 클러스터에서 무작위로 시연 샘플링하여 다양성 확보
단계 2: 시연 융합(Demonstration Fusing)
- 샘플링된 시연들과 무작위 선택 데이터베이스를 LLM에 입력
- LLM이 여러 시연의 특성을 결합하되 기존 시연과 구별되는 새로운 시연 생성
- 생성된 시연을 시연 풀에 추가
반복 및 누적: 위 과정을 여러 번 반복하여 점진적으로 다양한 시연 풀 구성
초기화 옵션: 인간 라벨링 데이터로 시작하거나 LLM으로 처음부터 합성 가능

Originality

DM(Diversity Measurement) 지표의 신규성: 사용자 질문 관점에서 시연 풀의 다양성을 정량화한 새로운 메트릭으로, 기존의 단순한 다양성 개념을 형식화함
반복적 융합 전략: 단순 생성이 아닌 여러 시연의 특성을 조합하여 의도적으로 새로운 속성의 시연을 만드는 창의적 접근
이론적 기초: 제안된 방법이 DM을 향상시킬 수 있음을 이론적으로 증명 (Appendix D)
인간 개입 제거: 기존 라벨링을 활용하면서도 추가 인간 라벨링 없이 다양성 개선