Enabling language models to implicitly learn self-improvement

Motivation

• Known: LLM의 self-improvement는 이미 많은 관심을 받고 있으며, Self-Refine과 같은 prompting 기반 방법들이 효과적이지만 명시적이고 상세한 rubric을 요구한다는 점이 알려져 있다.
• Gap: 기존 prompting 기반 self-improvement 방법들은 명시적인 rubric 설계를 필요로 하는데, 이는 복잡한 개선 목표(예: 도움이 되고 해롭지 않음)에 대해 인간이 모든 필요한 rubric을 파악하고 작성하기 어렵다는 한계가 있다.
• Why: 명시적인 rubric 없이 데이터로부터 개선 목표를 암묵적으로 학습할 수 있다면, 추가 인간 노력 없이도 더 확장 가능하고 효율적인 self-improvement가 가능하기 때문에 중요하다.
• Approach: RLHF의 학습 목표를 입력 x에 대한 응답 품질 최대화에서 참조 응답 y_ref를 조건으로 하는 응답 품질 간격 최대화로 재구성하여, 모델이 참조 응답을 개선하는 방법을 암묵적으로 학습하도록 한다.

Achievement

Figure 2: Reward distribution of

• PIT 프레임워크 제안: RLHF를 재구성하여 참조 응답 조건부 학습 목표를 도입
• Rubric 불필요: 보상 모델 학습에 사용된 선호도 데이터만 재사용하여 추가 인간 노력 제거
• 실증적 검증: 두 개의 실제 데이터셋과 하나의 합성 데이터셋에서 Self-Refine 등 prompting 기반 방법 대비 우수한 성능 달성

How

Figure 1: The pipeline of PIT and prompting methods (Self-Refine). Upper: PIT utilizes inputs and

• RLHF 파이프라인(supervised fine-tuning, reward model training, reinforcement learning)에서 학습 입력 형식을 (x) 에서 (x, y_ref)로 변경
• Reward model이 개선된 응답과 원본 LLM 응답 간의 품질 간격을 평가하도록 학습
• 강화학습이 이 간격 보상을 최대화하도록 PIT 모델을 학습

Originality

• 새로운 문제 설정: Self-improvement를 명시적 rubric 대신 데이터로부터 암묵적으로 학습하는 관점 도입
• 학습 목표 재구성: RLHF를 참조 응답 조건부로 개조하는 창의적인 접근
• 데이터 재사용: 보상 모델 학습 데이터의 효율적 재활용으로 추가 주석 비용 제거

Limitation & Further Study

• 현재 RLHF에만 기반하며 DPO 등 다른 정렬 방법과의 호환성이 미탐색
• 실험이 텍스트 생성 작업에 한정되며, 코드 생성이나 수학 추론 등 특정 도메인에서의 성능이 충분히 검토되지 않음
• 참조 응답의 품질에 대한 민감도 분석이 부족하여, 낮은 품질의 참조 응답이 미치는 영향 불명확

Evaluation

총평: 이 논문은 명시적 rubric 설계의 비용을 제거하면서도 LLM의 self-improvement를 가능하게 하는 실용적이고 혁신적인 접근을 제시한다. RLHF 재구성의 단순성과 효과성, 그리고 데이터 효율성 측면에서 가치 있는 기여이며, ICLR 수준의 출판물로 적절하다.