Empowering language models with active inquiry for deeper understanding

Motivation

Known: 기존 대형 언어모델은 사용자 질의에 직접 답변하는 자동회귀(autoregressive) 방식을 사용하며, RAG(Retrieval-Augmented Generation) 방법은 외부 지식 활용에는 효과적이지만 모호한 사용자 입력을 처리하는 데는 부족하다.
Gap: 자연 인간 상호작용에서는 명확한 질문을 통해 정보를 수집하지만, 현재 LLM은 사용자의 모호한 의도를 파악하지 못하고 부정확하거나 도움이 되지 않는 응답을 생성하는 문제가 있다.
Why: 사용자는 자신의 맥락을 공유한다고 가정하지만 LLM은 이에 접근할 수 없으므로, 대화형 명확화(interactive clarification)를 통해 실제 사용자의 의도를 파악하는 것이 필수적이다.
Approach: 불확실성 추정을 통해 LLM의 모호함 수준을 판단하고, 능동학습을 적용하여 가장 정보량이 많은 명확화 질문을 선택한 후, 사용자 피드백을 기반으로 질의를 갱신하는 반복 대화 방식을 채택한다.

Figure 3: QMSum 데이터셋에서의 LaMAI 비교 및 분석 결과

LaMAI는 다음 세 가지 핵심 구성요소로 구성된다:

불확실성 추정(Uncertainty Estimation): 다중 답변 샘플링을 통해 T개의 답변 {A₁, A₂, ..., A_T}를 생성하고, 답변 간 변동성(variation)을 계산하여 모델의 불확실성을 정량화한다.
능동 문의(Active Inquiry): 불확실성이 높을 때, LLM에게 사용자 질의에 대한 명확화 질문 후보를 생성하도록 프롬프트하고, 능동학습 기법을 활용하여 가장 정보량이 많은 질문을 선택한다.
답변 생성(Answer Generation): 원래 사용자 질의에 명확화 질문에 대한 사용자 피드백을 추가하여 질의를 갱신하고, 업데이트된 질의를 기반으로 최종 답변을 생성한다.
반복 프로세스: 불확실성이 만족스러운 수준으로 감소할 때까지 불확실성 재추정과 능동 문의 과정을 반복 수행한다.

새로운 생성 방식: 정적 지식베이스에 의존하는 기존 방법과 달리, 사용자와의 동적 정보 교환을 통해 질의-특정적 정보를 획득하는 새로운 LLM 답변 생성 스킴 제안
능동학습의 창의적 적용: 정보성(informativeness)과 대표성(representativeness) 기반의 능동학습 기법을 LLM의 대화형 질문 선택에 처음으로 체계적으로 적용
인간 상호작용 패러다임: 자연 인간 대화의 명확화 과정을 모델링하여, 기존의 일방향 LLM 응답 방식에서 쌍방향 대화형 접근으로의 패러다임 전환 제시
불확실성 기반 적응형 전략: 단순한 고정 질문이 아니라 모델의 불확실성에 동적으로 반응하여 필요할 때만 문의하는 효율적 메커니즘 설계

제한사항:
- 방법의 효과는 사용자의 질문 응답 품질과 성실도에 크게 의존하며, 현실 환경에서 악의적이거나 부정확한 사용자 피드백에 대한 대응 메커니즘 부족
- 명확화 질문 생성의 자동화 평가 메트릭이 제한적이고, GPT-4 기반 평가에의 의존성 높음
- 반복 문의 횟수의 증가에 따른 사용자 피로도(user fatigue) 고려 부족
후속 연구:
- 신뢰도 낮은 피드백을 감지하고 가중치를 조정하는 메커니즘 개발
- 사용자 만족도 최적화를 위한 질문 개수 자동 결정 알고리즘 연구
- 도메인-특화 데이터셋에서의 적용 확대 및 실시간 상호작용 시나리오에서의 성능 평가 필요