Enabling AI Scientists to Recognize Innovation: A Domain-Agnostic Algorithm for Assessing Novelty

Motivation

• Known: 기존 혁신성 평가는 전문가 판정(주관적, 시간소모적)에 의존하거나, LLM 기반 판정(입력 변동에 민감) 또는 절대 국소 밀도 메트릭(도메인 간 일반화 부족)을 사용
• Gap: 소규모 도메인 특화 테스트셋, 전문가 라벨링 의존성, 도메인별 상이한 인용 패턴과 출판 속도로 인한 일반화 실패
• Why: LLM이 연구 아이디어 생성에 참여하면서 신뢰할 수 있는 자동 평가 방법이 시급함
• Approach: 의미론적 이웃의 상대적 밀도 순위를 활용하되, 전문가 라벨링 없이 테스트셋을 구성하는 방법론 제안

Achievement

컴퓨터과학과 생의학 도메인에서 HD(Historical Dissimilarity)와 RND 점수의 분포 비교: RND는 도메인별 편차가 적음

1. 도메인 간 일관된 성능: 컴퓨터과학(AUROC=0.820), 생의학(AUROC=0.765)에서 최고 성능 달성. 교차 도메인 평가에서 RND(0.795) vs 기존 최고 방법(0.597) 대폭 우수
2. 전문가 라벨링 불필요: 최근 상위 저널/학회의 논문(양성)과 과거 높은 인용도 논문(음성)을 구분하는 방식으로 신뢰할 수 있는 테스트셋 자동 구성
3. 대규모 데이터베이스: PubMed 2,536만 편, ArXiv 264만 편의 의미론적 임베딩 구축(M3-Embedding, 1024차원)

How

RND 알고리즘의 P(최근접 이웃 수)와 Q(이웃의 이웃 수) 파라미터에 따른 AUROC 변화: P=100, Q=50에서 최적

• 의미론적 임베딩: 각 논문의 제목과 초록을 M3-Embedding으로 1024차원 벡터로 변환
• 이웃 밀도(ND) 계산: 아이디어 임베딩 v와 Q개의 최근접 논문 사이의 코사인 거리 평균의 역수

$$ND = \frac{1}{Q}\sum_{k=1}^{Q}d(v, v_k)$$

• 상대 순위 기반 점수화: 아이디어의 P개 최근접 이웃 중 아이디어보다 밀도가 낮은 이웃의 비율로 최종 점수 결정

$$score_i = \frac{|\{ND \in S_i | ND \leq ND_i\}|}{|S_i|} \times 100$$

• 핵심 통찰: 절대값 대신 상대 순위를 사용하므로 도메인 간 밀도 편차에 불변(domain-invariant)

Originality

• 혁신적 접근: 기존 절대 밀도 메트릭의 도메인 특이성 문제를 상대 순위로 우아하게 해결
• 스케일 가능한 검증 방법론: 전문가 라벨링을 피하고 발표 시점과 인용 히스토리로 객관적 레이블 생성—과거 연구의 핵심 한계를 직접 해결
• 포괄적 벤치마크: 컴퓨터과학·생의학 각각의 도메인 내 성능 및 교차 도메인 성능을 동시 평가하여 일반화 능력 입증

Limitation & Further Study

• 테스트셋 구성의 한계: 최근 발표 = 혁신적, 과거 고인용 = 비혁신적 가정이 항상 성립하지 않을 수 있음(예: 최근 재조명된 고전, 시간이 지나도 혁신적인 아이디어)
• P, Q 파라미터 선택: 경험적으로 P=100, Q=50으로 고정했으나, 도메인/데이터셋 규모에 따른 최적화 기준 부재
• 임베딩 모델 의존성: M3-Embedding의 성능에 결과가 강하게 의존—다른 임베딩 모델과의 비교 실험 부재
• 후속 연구: (1) 다른 임베딩 모델의 영향 분석, (2) 중복도, 점진적 진화와 구분되는 진정한 혁신성의 정의, (3) 실시간 적응적 임계값 학습

Evaluation

총평: 혁신성 평가의 도메인 간 일반화를 상대 밀도 개념으로 우아하게 해결하고, 전문가 라벨링 불필요한 검증 방법론으로 스케일 가능성을 입증했다. LLM 과학자 시대의 실질적 요구에 부응하는 견고한 기술 기여이나, 테스트셋 라벨링의 철학적 가정(시간 경과 = 비혁신성)과 다양한 임베딩 모델의 영향에 대한 더 깊은 논의가 필요하다.