Recall, Risk, and Governance in Automated Proposal Screening for Research Funding: Evidence from a National Funding Programme

Essence

이 논문은 연구비 지원 기관의 제안서 초기 심사에서 TF-IDF 기반 방법과 LLM 기반 방법의 성능을 비교하며, 거짓 부정(false negative)을 최소화하는 재현율(recall)이 고비용 오류 구조에서 얼마나 중요한지를 실증적으로 보여준다.

Known: 연구비 지원 기관들은 증가하는 제안서 양을 처리하기 위해 AI 도구 도입을 검토 중이며, LLM의 텍스트 평가 능력이 주목받고 있다. 다만 고위험 심사 결정에서의 제도적 적합성은 제한적으로 탐구되었다.
Gap: 자동화된 심사 시스템의 오류 비용 구조, 특히 회수 불가능한 거짓 부정의 영향에 대한 실증적 증거가 부족하다. 제도적 맥락에서 오류 비대칭성을 고려한 성능 평가가 미흡하다.
Why: 제안서의 거짓 부정 제외는 우수한 연구 기회의 돌이킬 수 없는 손실이므로, 정확도보다 재현율 최적화가 중요하다. 공공 연구 지원의 절차적 정당성과 투명성 측면에서 AI 도구의 적합성을 검증해야 한다.
Approach: 국가 지원 프로그램에 제출된 959개 제안서를 대상으로 두 가지 자동화 방식을 비교했다: 도메인 특화 키워드 엔지니어링을 활용한 투명한 TF-IDF 규칙 기반 방법과 LLM 의미 분류 방법이다.

TF-IDF의 우월한 성능: TF-IDF 방식이 LLM을 능가하며 재현율 78.95% vs 45.82%로 훨씬 높은 수치 달성
거짓 부정 최소화: TF-IDF는 68개의 거짓 부정을 생성한 반면 LLM은 175개로, LLM이 위원회가 선정한 제안서의 절반 이상 제외
오류 비대칭성 실증: 거짓 양성(false positive)은 후속 동료심사로 수정 가능하지만 거짓 부정은 회수 불가능함을 증명
제도적 맥락의 중요성: 모델의 정교함보다 오류 프로필, 투명성, 감시 가능성이 평가 실무와 얼마나 부합하는지가 적합성을 결정함을 시사

959개 제안서를 대상으로 선정 위원회 결정을 ground truth로 사용(선정 323개, 거절 636개)
TF-IDF 방식: 정책 중심 지원 우선순위를 반영한 도메인 특화 키워드 목록 수동 작성, 표준 전처리(소문자화, 구두점 제거, 불용어 제거) 적용, 키워드 매칭으로 결정적 분류
LLM 기반 방식: 생성형 언어 모델을 통해 제안서 목표와 사전 정의된 주제 범주의 부합도 평가, 구조화된 프롬프트로 이진 포함 결정 도출, 범위 밖 명시적 구절에 대해 결정적 제외 규칙 적용
표준 지표와 특히 재현율 및 거짓 부정 중심의 오류 구조 평가