Critical Review with Scientometrics Approach on the Retrofitting Strategies for Reinforced Concrete Structures

Motivation

Known: 최근 LLM이 peer review 프로세스를 지원할 수 있다는 관심이 증가하고 있으며, 기존 연구들은 LLM 생성 리뷰의 품질을 인간 리뷰와 비교 평가해왔다. 하지만 LLM이 인간 리뷰어를 모방하는 방식은 책임감 없는 사용을 악화시킬 위험이 있다.
Gap: 기존 연구는 LLM이 인간과 같은 방식으로 전체 리뷰를 생성하는 시나리오에만 집중했으며, LLM을 보조 도구로서 특정 하위 작업(critical error 검출)에 활용하는 대안적 접근이 부족하다. 또한 도메인 전문가 모집의 어려움으로 인한 체계적 평가 방법이 미흡하다.
Why: peer review crisis로 인한 검토 부담 증가 속에서 LLM을 책임감 있게 활용하여 리뷰어의 시간을 절감하고 도메인 전문성에 집중하게 할 수 있으며, 이는 논문의 신뢰성을 보장하는 데 중요하다.
Approach: WITHDRAWNARXIV 데이터셋(1,225개 사례)을 활용하여 PDF, OCR, LaTeX 기반의 세 가지 기준선 방식을 제안하고, LLM-as-a-judge 패러다임을 적용한 자동 평가 파이프라인으로 도메인 전문가 모집 비용을 우회한다.

WITHDRAWNARXIV-CHECK 데이터셋 구축: 1,225개의 검증된 critical error 사례를 포함하는 새로운 벤치마크 데이터셋 개발
자동 평가 프레임워크: LLM judge들을 활용한 확장 가능한 Hit Rate@k, Mean Hit Rate@k, Average Precision@k, Mean Average Precision@k 메트릭 제시
모델 성능 평가: o3 등 주요 reasoning LLM들의 critical error 검출 성능과 API 비용 비교 분석
공개 자료: 데이터셋, 코드, 모델 출력물의 공개로 향후 연구 기반 제공

WITHDRAWNARXIV에서 '치명적 오류' 범주의 6,018개 논문 선별", 'Gemini 2.5 Flash를 사용한 자동 스크리닝으로 2,190개로 필터링
수작업 검증으로 비영문, 템플릿 오류, 검출 불가능한 문제 제거하여 최종 1,225개 확정
20% 테스트 셋(245개), 80% 훈련/검증 셋(980개)으로 분할
PDF 첨부, OCR 결과, LaTeX 스크립트 기반 세 가지 입력 방식 구현
각 LLM checker가 논문당 최대 5개의 critical problem 도출하도록 지시
m=2개의 LLM judge가 독립적으로 생성 문제의 정확성 검증
majority voting으로 hit 여부 결정 및 hit rate, precision 계산

도메인 특성 미반영: 일반적인 task instruction 사용으로 수학·물리 중심 데이터셋의 특성을 충분히 활용하지 못함
LaTeX 의존성: 88%의 논문만 LaTeX 가용하며, 이미지 처리 미지원으로 정보 손실 발생
평가 방법의 한계: LLM judge 간 일관성 부족 가능성과 'exact match' 기준의 엄격성이 실제 오류 검출 능력을 과소평가할 수 있음", '데이터셋 편향: arXiv withdrawn paper 중심으로 다른 학문 분야(생물학, 사회과학 등)의 대표성 부족
후속 연구: (1) 도메인 특화 prompt engineering 적용, (2) OCR 기반 접근법 검증, (3) 인간 평가자와의 hybrid 평가, (4) 다양한 retraction reason 카테고리에 대한 세분화된 분석

기반 연구LLM을 활용한 과학 논문 품질 평가의 핵심 방법론을 제공하는 기초 연구이다

다른 접근논문의 오류나 부실성을 자동으로 식별하는 대안적 평가 프레임워크를 제시한다

다른 접근이 논문이 LLM으로 과학 논문의 품질 문제를 식별하는 반면, DREAM은 Deep Research Agent 보고서를 평가하는 프레임워크를 제시하여 AI 기반 평가의 다른 측면을 다룬다.

다른 접근이 논문이 LLM을 과학 논문의 비판적 오류 식별 도구로 활용하는 반면, 1192는 LLM을 책임 있는 연구 평가 전반에 적용하는 더 넓은 프레임워크를 논의하여 상호 보완적이다.

다른 접근LLM을 논문 출판 후 연구 평가에 활용하는 연구와 이 논문의 비판적 리뷰 자동화 접근법은 AI 기반 과학 평가의 다른 단계를 다루어 함께 읽으면 전체 평가 사이클을 이해할 수 있다.

다른 접근동료 검토 편향의 결과를 분석한 연구가 LLM 기반 자동화 리뷰의 편향 문제와 비교하는 데 유용한 관점을 제공한다.

후속 연구LLM 기반 논문 평가 방법을 확장하여 새로운 평가 기준을 제안한다

후속 연구REFORMS의 ML 연구 재현성 체크리스트는 LLM 기반 비판적 리뷰 시스템이 자동으로 검증해야 할 항목들의 기준선을 제공한다.

후속 연구ChatGPT 연구 평가를 속이는 문체적 특성을 분석한 연구로, LLM 기반 논문 품질 검사의 취약점과 한계를 이해하는 데 도움이 된다.

응용 사례LLM 기반 품질 검사 방법을 실제 논문 평가 상황에 적용한다