Recall, Risk, and Governance in Automated Proposal Screening for Research Funding: Evidence from a National Funding Programme

Essence

이 논문은 연구비 지원 기관의 제안서 초기 심사에서 TF-IDF 기반 방법과 LLM 기반 방법의 성능을 비교하며, 거짓 부정(false negative)을 최소화하는 재현율(recall)이 고비용 오류 구조에서 얼마나 중요한지를 실증적으로 보여준다.

Known: 연구비 지원 기관들은 증가하는 제안서 양을 처리하기 위해 AI 도구 도입을 검토 중이며, LLM의 텍스트 평가 능력이 주목받고 있다. 다만 고위험 심사 결정에서의 제도적 적합성은 제한적으로 탐구되었다.
Gap: 자동화된 심사 시스템의 오류 비용 구조, 특히 회수 불가능한 거짓 부정의 영향에 대한 실증적 증거가 부족하다. 제도적 맥락에서 오류 비대칭성을 고려한 성능 평가가 미흡하다.
Why: 제안서의 거짓 부정 제외는 우수한 연구 기회의 돌이킬 수 없는 손실이므로, 정확도보다 재현율 최적화가 중요하다. 공공 연구 지원의 절차적 정당성과 투명성 측면에서 AI 도구의 적합성을 검증해야 한다.
Approach: 국가 지원 프로그램에 제출된 959개 제안서를 대상으로 두 가지 자동화 방식을 비교했다: 도메인 특화 키워드 엔지니어링을 활용한 투명한 TF-IDF 규칙 기반 방법과 LLM 의미 분류 방법이다.

TF-IDF의 우월한 성능: TF-IDF 방식이 LLM을 능가하며 재현율 78.95% vs 45.82%로 훨씬 높은 수치 달성
거짓 부정 최소화: TF-IDF는 68개의 거짓 부정을 생성한 반면 LLM은 175개로, LLM이 위원회가 선정한 제안서의 절반 이상 제외
오류 비대칭성 실증: 거짓 양성(false positive)은 후속 동료심사로 수정 가능하지만 거짓 부정은 회수 불가능함을 증명
제도적 맥락의 중요성: 모델의 정교함보다 오류 프로필, 투명성, 감시 가능성이 평가 실무와 얼마나 부합하는지가 적합성을 결정함을 시사

959개 제안서를 대상으로 선정 위원회 결정을 ground truth로 사용(선정 323개, 거절 636개)
TF-IDF 방식: 정책 중심 지원 우선순위를 반영한 도메인 특화 키워드 목록 수동 작성, 표준 전처리(소문자화, 구두점 제거, 불용어 제거) 적용, 키워드 매칭으로 결정적 분류
LLM 기반 방식: 생성형 언어 모델을 통해 제안서 목표와 사전 정의된 주제 범주의 부합도 평가, 구조화된 프롬프트로 이진 포함 결정 도출, 범위 밖 명시적 구절에 대해 결정적 제외 규칙 적용
표준 지표와 특히 재현율 및 거짓 부정 중심의 오류 구조 평가

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 이 논문은 공공 연구 지원 맥락에서 자동화 도구의 제도적 적합성을 오류 비대칭성과 투명성 관점으로 재평가하는 중요한 기여를 한다. 모델 정교함보다 오류 구조와 거버넌스 정렬이 중요하다는 통찰은 AI 활용 범위에서 광범위한 정책적 함의를 갖는다.

다른 접근자동화된 제안서 심사의 리콜·리스크·거버넌스 연구는 AI 피어 리뷰 시스템의 위험과 효과를 다른 각도에서 분석한다.

다른 접근제안서 심사 자동화를 위한 유사한 방법론 비교 접근을 취한다.

다른 접근두 논문 모두 연구 평가 시스템의 한계와 편향을 다루며, 2855는 동료 심사 편견에, 2815는 자동화 심사의 위험에 초점을 맞춘다.

다른 접근LLM 기반 심사 방법의 효용성을 평가하는 유사한 연구이다.

다른 접근제안서 심사 자동화라는 유사한 문제를 다른 방법으로 접근

후속 연구자동화된 심사 시스템의 위험 관리를 확장한 연구이다.

응용 사례LLM을 실제 심사 과정에 적용한 연구로 연결된다.