Futuregen: Llm-rag approach to generate the future work of scientific article

Motivation

• Known: 과학 논문의 미래 연구 방향(Future Work) 섹션은 후속 연구자들의 탐색 방향을 제시하고 학문 발전의 기초가 되는 중요한 요소이다. 그러나 저자가 작성한 미래 연구 방향은 종종 추상적이고 모호하며, 섹션별·학문별로 상세 수준이 불균일하다.
• Gap: 기존 NLP 연구는 미래 연구 방향의 추출, 분류, 추세 예측에 집중했으나, 실질적인 제안(suggestive generation)을 자동으로 생성하는 연구는 부족하다. 또한 ROUGE, BLEU 같은 기존 평가 지표는 창의성, 실현가능성, 환각(hallucination) 같은 미세한 측면을 포착하지 못한다.
• Why: 조기 경력 연구자들이 탐색되지 않은 연구 영역을 발견하고, 정책 입안자들이 전략적 자원 배분을 결정하기 위해서는 체계적이고 신뢰할 수 있는 미래 연구 방향 제안이 필요하다.
• Approach: LLM 기반 추출 및 생성, 관련 논문들의 맥락을 활용한 RAG, 반복적 LLM 피드백, 그리고 LLM 평가자를 활용한 다차원 평가 프레임워크를 통합한다.

Achievement

시스템 아키텍처 및 미래 연구 방향 생성 프레임워크

1. 고품질 데이터셋 구축: ACL 2023-2024(4,562편), NeurIPS(1,000편) 논문으로부터 저자-작성 미래 연구 방향과 OpenReview 피어 리뷰의 장기 목표를 포함한 포괄적 ground truth 데이터셋 구성
2. RAG 기반 생성 성능 향상: 상위 3개 섹션 vs. 전체 내용 입력 비교, 관련 논문 검색을 통한 맥락 강화로 생성된 미래 연구 방향의 깊이와 관련성 개선
3. LLM 피드백 메커니즘의 효과: 반복적 개선 루프를 통해 생성 텍스트의 유창성, 일관성, 독창성 향상, 추가 학습 없이 품질 개선 달성
4. 강건한 평가 프레임워크: 기존 NLP 지표(ROUGE, BLEU, BERTScore)와 LLM 기반 평가(창의성, 실현가능성, 일관성, 환각 탐지)를 결합한 다층 평가 체계 제시

How

LLM-as-a-Judge 평가 프롬프트

반복적 개선 프롬프트

• 데이터 수집 및 전처리:
  • ScienceParse 도구로 논문 섹션 추출
  • 규칙 기반(Regex) 추출: "future", "future work" 키워드 검색으로 명시적/암묵적 미래 연구 방향 식별
  • LLM 필터링: GPT-4o mini로 노이즈 제거 및 정확도 향상
• 미래 연구 방향 생성 파이프라인:
  • 입력 선택: 상위 3개 관련 섹션 또는 전체 내용(ground truth 제외)
  • RAG 통합: 관련 논문들로부터 검색된 맥락으로 입력 증강
  • LLM 프롬프팅: 구조화된 프롬프트로 생성 유도
• 반복적 피드백 및 개선:
  • 초기 생성 결과가 품질 임계값을 충족하지 못하면 LLM 피드백 루프 실행
  • 모호성, 중복성, 실현가능성 측면의 개선 지시
• 다층 평가 체계:
  • NLP 지표: ROUGE, BLEU, BERTScore로 reference와의 유사도 측정
  • LLM 평가: 창의성(novelty), 실현가능성(feasibility), 일관성(coherence), 환각 여부 판정
  • 인간 평가: LLM의 추출자, 생성자, 피드백 제공자로서의 신뢰성 검증

Originality

• 미래 연구 방향 자동 생성의 개척: 기존 추출·분류 연구를 넘어 제안적 생성(suggestive generation)으로 확장한 첫 시도
• 포괄적 Ground Truth 구성: 저자-작성 미래 연구 방향뿐 아니라 OpenReview 피어 리뷰의 장기 목표를 통합하여 신뢰도 향상
• RAG를 통한 도메인 간 지식 활용: 단일 논문 내용만이 아니라 관련 논문의 맥락을 수집하여 생성 결과의 깊이와 다양성 제고
• LLM-as-a-judge 프레임워크의 적용: 창의성, 실현가능성, 환각 같은 질적 차원을 LLM 평가자로 체계적으로 측정하는 혁신적 접근
• LLM 피드백 루프의 자동화: 인간 개입 없이 LLM이 자체 출력을 반복적으로 개선하는 메커니즘 구현

Limitation & Further Study

• Ground Truth의 편향: ACL, NeurIPS 두 학회 중심으로 데이터 수집되어 다른 학문 분야(의학, 사회과학 등)의 미래 연구 표현 방식을 충분히 반영하지 못할 가능성
• RAG 검색 품질에의 의존성: 관련 논문 검색의 정확도가 최종 생성 결과에 직접 영향을 미치나, 검색 알고리즘의 최적화 과정이 상세히 기술되지 않음
• LLM 평가자의 일관성: LLM 평가자가 사람의 판단과 일치하는지 더 광범위한 인간 평가 검증 필요
• 생성 다양성과 균형: GPT-4o mini 단일 모델로 대부분의 실험이 진행되어, 다른 LLM 아키텍처(오픈 소스 모델 등)에 대한 광범위한 비교 부족
• 후속 연구:
  • 다국어 미래 연구 방향 생성으로 확장
  • 학문별 특화된 평가 기준 개발
  • 생성된 미래 연구 방향의 실제 채택률 추적
  • 사용자 피드백을 통한 지속적 모델 개선

Evaluation

총평: 이 논문은 미래 연구 방향 자동 생성이라는 미개척 영역에 대해 RAG, LLM 피드백, 다층 평가를 통합한 체계적인 접근법을 제시하며, 5,500여 편의 논문 데이터셋과 함께 공개하여 학술 공동체에 실질적 기여를 한다. 다만 단일 LLM 모델 중심의 실험과 학문 분야의 제한, 생성 결과의 실제 영향력 측정 부족이 제한 요소이나, 전반적으로 의미 있는 학술 기여를 제공하는 우수한 연구이다.