/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/860_Unveiling_the_sentinels_Assessing_ai_performance_in_cybersec

Motivation

• Known: 컴퓨터 비전 분야에서는 논문의 시각적 레이아웃(paper gestalt)을 이용한 accept/reject 예측 연구가 있었고, NLP 분야에서는 essay scoring이나 arXiv 논문에 대한 hierarchical CNN 기반 자동 논문 평가(automatic academic paper rating) 연구가 존재했으며, 이 중 Yang et al.의 방법이 68% 미만의 정확도를 보였다는 점이 알려져 있다.
• Gap: 기존 연구들은 vision 기반 방법이 논문 내용을 무시하거나, text 기반 방법이 교육용 essay 채점에 초점을 맞추거나 컴퓨터 보안 분야를 다루지 않았고, ChatGPT와 같은 최신 LLM을 사이버보안 학회 리뷰 예측에 적용해 비교한 정량적 연구가 부재했다.
• Why: 사이버보안 최상위(Big-4) 학회들의 투고량 급증으로 peer review 시스템에 과부하가 걸리는 상황에서, AI가 리뷰 결정을 어느 정도 보조/예측할 수 있는지 규명하는 것은 리뷰 프로세스 개선과 AI의 한계 및 인간 지성의 대체 불가능한 역할을 이해하는 데 중요하다.
• Approach: 저자들은 Doc2Vec으로 논문을 벡터 임베딩한 뒤 다양한 ML 분류기로 accept/reject를 예측하는 2단계 파이프라인을 구축하고, 이를 ChatGPT의 예측 성능과 비교하는 방식으로 접근한다.

Achievement

The pipeline of Paper Classification Model. The left-hand side is the first

1. 대규모 데이터셋 구축: Big-4 보안 학회 및 여타 컴퓨터과학 학회의 accepted 논문 10,000편 이상과 arXiv preprint 4,000편 이상을 포함하는 14,000편 이상의 데이터셋을 구축했다.
2. 높은 예측 정확도 달성: Doc2Vec 기반 ML 모델이 보안 논문의 리뷰 결정을 약 91%의 정확도로 예측하여 ChatGPT를 크게 능가했다.
3. 초록 및 신규 논문에 대한 추가 실험: abstract만 사용하는 경우와 novel paper에 대한 처리 능력을 분석하여 모델의 강점과 한계를 도출했다.
4. 동료 심사 프로세스에 대한 통찰 제시: 실험 결과를 바탕으로 AI가 리뷰 프로세스에서 자동화 지원이 가능한 영역과 인간 지성이 여전히 대체 불가능한 영역을 논의했다.

How

The pipeline of Paper Classification Model. The left-hand side is the first

• Doc2Vec 모델을 보안 이외의 다양한 컴퓨터과학 학회 논문으로 사전 학습(pre-training)한 후, 전이학습(transfer learning) 방식으로 보안 논문에 맞춰 미세조정하여 문서 임베딩 품질을 향상시킴
• 학회에 제출되어 accept된 논문(positive sample)과 저자들이 공개한 arXiv 아카이브 버전(negative sample 근사치)을 활용해 학습용 데이터셋 구성, 여러 휴리스틱을 적용해 negative sample을 선별
• 생성된 문서 벡터를 입력으로 다양한 분류기(classifier)를 학습시켜 accept/reject를 예측하는 2단계(two-stage) 분류 파이프라인 구성
• ChatGPT에 동일한 논문(또는 초록)을 입력하여 리뷰 결과를 예측하도록 하고, Doc2Vec 기반 파이프라인과 정확도를 비교
• 초록만 사용한 경우와 novel(새로운) 논문에 대한 예측 성능을 별도로 실험하여 모델의 일반화 능력 분석

Originality

• 사이버보안 분야 학회 논문의 accept/reject 예측이라는, 기존에 다루어지지 않은 도메인에 특화된 대규모 데이터셋(14,000편 이상)을 최초로 구축함
• Doc2Vec 기반 전이학습(transfer learning) 파이프라인을 통해 소규모 보안 논문 데이터로도 고품질 문서 임베딩을 생성하는 방법을 제시함
• ChatGPT를 학술 논문 리뷰 예측 작업의 baseline/비교 대상으로 삼아 정량적으로 성능을 비교한 최초의 시도 중 하나임
• 제출 논문의 negative sample을 얻기 어려운 문제를 arXiv 공개 아카이브 버전과 휴리스틱을 이용해 근사적으로 해결하는 실용적 데이터 수집 전략을 제안함

Limitation & Further Study

• Negative sample(거절된 논문)을 실제 reject된 논문이 아닌 arXiv에 공개된 저자 아카이브 버전으로 근사하기 때문에, 실제 리뷰 거절 논문의 특성과 차이가 있을 수 있어 데이터의 타당성에 한계가 존재함
• ChatGPT 사용 시 프롬프트 설계, 버전, temperature 등의 설정이 결과에 영향을 줄 수 있는데 이에 대한 민감도 분석이 제한적일 가능성이 있음
• Doc2Vec 기반 모델이 리뷰 결정의 표면적 텍스트 패턴을 학습하는 것일 뿐, 실제 심사위원의 논리적 판단 근거(창의성, 기여도 등 주관적 요소)를 반영하는지는 불명확하며 이에 대한 해석(interpretability) 연구가 후속되어야 함
• Big-4 학회에 한정된 데이터로 일반화 가능성이 제한적일 수 있어, 다른 분야나 학회로의 확장 검증이 필요함

Evaluation

총평: 사이버보안 분야에서 peer review 결과 예측이라는 새로운 문제를 대규모 데이터셋과 함께 정량적으로 탐구했다는 점에서 의미 있는 기여이며, Doc2Vec 기반 접근법이 ChatGPT보다 우수한 성능을 보인 실험 결과는 AI 리뷰 보조 도구 개발에 중요한 시사점을 제공한다.