NOVA-Test: Auditing LLM-Generated Research Hypotheses with Structural Analogy, Prior-Work, and Falsifiability Tests

Motivation

• Known: LLM 기반 ideation 시스템과 AI Scientist류의 자율 연구 에이전트는 후보 아이디어 공간을 탐색하는 데는 도움이 되지만, 생성 시점에는 novel해 보이던 아이디어가 구현 후 약화되는 경우가 많고 novelty·feasibility·truthfulness가 흔히 분리된다는 사실이 기존 benchmark 연구들에서 반복적으로 보고되어 왔다.
• Gap: 기존 human-in-the-loop ideation 시스템이나 concept-network agent, end-to-end AI research agent들은 언제 생성된 가설을 기각해야 하는지에 대한 명시적 기준을 제공하지 못하며, 독립 평가들은 이러한 시스템에서 weak novelty assessment, brittle implementation, fabricated 결과 등의 문제를 지적하고 있다.
• Why: 업스트림에서 검증되지 않은 채 통과된 가설은 이후 baseline 선택, 데이터 수집, negative result 해석 등 downstream 연구 파이프라인 전체를 편향시킬 수 있기 때문에, 가설 생성 단계 자체를 하나의 통계적 검증 대상으로 다루는 것이 중요하다.
• Approach: NOVA-Analog을 NOVA-Test로 재구성하여, source-target structural alignment, nearest-prior novelty audit, explicit falsification planning의 세 gate를 통과해야만 가설을 채택하는 rejection protocol을 설계하고, 12개 ML/CS bottleneck과 세 가지 생성 조건(one-shot, literature-search, NOVA-Test)에 대해 paired 평가를 수행했다.

Achievement

1. judged novelty·specificity·falsifiability 향상: NOVA-Test는 novelty(3.88 vs 3.00/2.83), technical specificity(4.54 vs 3.21/3.00), falsifiability(4.79 vs 4.46/4.21)에서 두 baseline 대비 우수한 점수를 얻었으며 Bonferroni 보정 후에도 feasibility vs literature-search를 제외한 모든 계획된 비교에서 유의미했다.
2. 대규모 novelty audit을 통한 검증: 488개 선행연구 corpus 기반 감사에서 NOVA-Test 가설의 10/12가 plausibly novel(C/D)로 분류된 반면 literature-search는 3/12에 그쳤고(Fisher one-sided p=0.006), one-shot 대비도 방향성은 긍정적이었다(6/12, p=0.097).
3. structural mapping의 외부 검증: 12개 top NOVA-Test mapping 모두 외부 감사에서 structurally useful로 평가되었고 external structural fraction이 0.83–0.86으로 나타나, 자유형식 은유가 아닌 명시적 대응관계·불일치 검토가 가능한 산출물을 제공함을 보였다.

How

• Target bottleneck에서 constraint, 실패 원인, 측정 가능한 success proxy 등 target invariant를 추출
• LLM에게 ecology, numerical analysis, queuing theory, statistical physics 등 distant domain의 source mechanism을 요청하고, source-target 변수 간 mapping table(exact/approximate/speculative/mismatch 라벨)을 생성
• Structural test: ρ(h) = exact 또는 approximate로 라벨된 mapping row 비율을 계산해 0.6 이상인 경우만 통과시키는 screening rule 적용 (수식 1)
• Prior-work test: 488개 중복 제거된 논문 corpus에 대해 lexical·embedding retrieval로 감사하여 known/incremental/plausibly novel-high-risk/no close prior(A/B/C/D)로 분류
• Falsifiability test: 각 가설에 반드시 empirical 또는 computational observation으로 표현된 failure condition을 포함하도록 요구
• 12개 ML/CS bottleneck(RLHF reward hacking, MoE routing collapse, diffusion sampling 등)에 대해 one-shot, literature-search, NOVA-Test 세 조건으로 가설을 생성하고, 두 model family의 blinded judge가 novelty·specificity·falsifiability·feasibility를 1–5 척도로 평가, paired one-sided Wilcoxon signed-rank test와 Bonferroni 보정, Fisher exact test로 통계 검증

Originality

• LLM ideation을 prompting 튜토리얼이 아니라 hypothesis-testing 문제로 재정의하여, 가설·구조적 근거·nearest-prior 관계·falsifier를 하나의 검증 단위로 통합한 프레임
• 단일 "idea quality" 점수 대신 structural coherence, novelty, feasibility를 분리된 null로 취급하여 실패 지점을 localize하는 gate 구조 설계 (구조 실패=analogy 실패, class-A novelty=rediscovery, falsifier 부재=unfalsifiable claim)
• historical rediscovery test를 leakage-sensitive diagnostic로만 사용하고 novelty의 primary evidence로 삼지 않는 신중한 방법론적 태도

Limitation & Further Study

• ρ(h)≥0.6이라는 structural test 임계값이 이론적 근거가 아닌 screening rule에 불과하여 임의성이 존재
• 12개 bottleneck이라는 비교적 작은 표본 크기로 인해 one-shot 대비 novelty audit 차이(p=0.097)처럼 일부 비교에서 통계적 유의성이 부족
• prior-work audit이 488편이라는 유한한 corpus와 retrieval coverage, judge calibration에 의존하므로 진정한 novelty를 보장하지 못하며 저자들도 "certifies true novelty가 아니다"라고 명시함
• 본 논문 자체가 자율적 discovery를 주장하지 않는다는 한계를 인정하며, 실제 실험적 검증(구현 및 결과 확인)까지 이어지는 후속 연구가 필요함

Evaluation

총평: LLM ideation을 명시적 rejection gate 기반의 hypothesis-testing 문제로 재구성한 참신하고 실용적인 접근으로, 통계적 검증 설계가 탄탄하지만 표본 크기와 임계값 설정의 임의성 등 한계가 남아 있어 향후 더 큰 규모의 검증과 실제 실행 결과 연계가 필요하다.