Read, Grep, and Synthesize: Diagnosing Cross-Domain Seed Exposure for LLM Research Ideation

Motivation

• Known: 기존 연구에서는 vision의 adversarial optimization이 LLM jailbreaking의 GCG로 전이된 사례처럼 domain 간 기법 이전이 인간 연구의 novelty 원천으로 알려져 있으며, ResearchAgent나 SciMON 같은 LLM ideation 시스템들이 citation graph나 과거 논문에서의 inspiration retrieval을 통해 novelty를 추구해왔다.
• Gap: LLM이 open-prompted analogy generation을 넘어 cross-domain migration을 체계적으로 활용할 수 있는지, 그리고 그 효과가 단순한 diverse seed exposure 대비 더 나은지에 대한 비교 검증이 부재했다.
• Why: LLM ideation 시스템 설계에서 retrieval의 semantic targeting에 자원을 투입할 가치가 있는지, 아니면 단순히 다양성 확보만으로 충분한지를 규명하는 것은 향후 research automation 시스템의 retrieval 전략 설계에 중요한 함의를 가진다.
• Approach: PaperGym이라는 read, grep, bash 도구를 활용한 seed 추출, 7개 ML domain에 대한 paraphrasing 기반 cross-domain retrieval, 그리고 attributed multi-seed synthesis로 구성된 3단계 파이프라인을 구축하고, 각 단계를 rubric 기반 judge(GPT-5 생성, Claude Sonnet 4.6 심사)로 평가한다.

Achievement

Figure 2. Stage 3 pairwise novelty win rates (n = 30; positions

1. Tool-augmented extraction의 specificity 향상: read, grep, bash를 활용한 seed 추출이 direct extraction 대비 specificity를 4.22에서 4.76으로 향상시키면서도 grounding 점수(4.82)는 동일하게 유지함.
2. Paraphrase 기반 retrieval의 domain coverage 확장: 문제를 7개 domain 어휘로 paraphrase하여 retrieval하는 방식이 관련성을 희생하지 않으면서도 domain coverage를 넓힘.
3. Cross-domain retrieval의 비대칭적 novelty 이점: Stage 3 synthesis에서 cross-domain retrieval(조건 C)이 no-retrieval(A) 대비 60% vs 40%, same-domain retrieval(B) 대비 67% vs 30%(3% tie)의 pairwise novelty 승률을 기록했으나, random diverse-seed control(D) 대비 47% vs 53%로 유의미한 차이가 없어, 현재 LLM ideation 시스템이 diverse mechanism exposure로부터는 이득을 얻지만 특정 seed가 왜 retrieval되었는지에 대한 semantic rationale은 아직 신뢰성 있게 활용하지 못함을 시사함.

How

Figure 1. The PaperGym three-stage pipeline. Stage 1 extracts grounded seeds from candidate papers using an LLM agent wi

• 30개 논문에 대해 tool-augmented agent가 read/grep/bash로 isolated sandbox 내에서 논문 전문을 markdown 형태로 탐색하며 (problem, method, domain) triple 형태의 seed를 추출하고, central claim을 grep 등으로 재검증하는 과정을 direct extraction(단일 프롬프트로 한번에 추출)과 비교(Stage 1).
• 연구 문제 statement를 자연 domain을 제외한 6개 domain 어휘로 paraphrase하여 각각 embedding 후 top-k(k=3) seed를 retrieval, 총 21개 seed pool을 구성(Eq. 1)하여 domain coverage 및 relevance를 rating judge로 평가(Stage 2).
• A(no retrieval), B(same-domain retrieval, top 21), C(cross-domain retrieval, top-k×7 domains), D(random-seed control, 21개 무작위 seed) 4가지 ablation 조건에서 synthesized method를 rubric 기반 rating judge(novelty, validity) 및 pairwise judge(novelty/validity/coherence, position randomize)로 30개 문제에 대해 비교(Stage 3).
• 1,167개 seed로 구성된 seed library(446개 conference paper, 2017–2025, 7개 domain)를 구축하고, GPT-5(생성)와 Claude Sonnet 4.6(judge)이라는 이종 모델 조합으로 self-enhancement bias를 완화.

Originality

• research ideation의 단일 단계(seed 추출→retrieval→synthesis)에 집중하여 각 단계를 rubric 기반으로 분리 평가함으로써, end-to-end research automation 시스템에서 어려웠던 design choice별 attribution 문제를 해결하려는 시도.
• 문제 statement를 7개 domain 어휘로 paraphrase하여 retrieval하는 방식은 SOLVENT의 human-annotated facet label 기반 analogy retrieval이나 ResearchAgent/SciMON의 citation graph·entity-centric retrieval과 차별화된 접근.
• cross-domain retrieval의 novelty 이점을 random diverse-seed control과 비교함으로써, "왜 특정 seed가 retrieval되었는가"라는 semantic rationale의 기여도를 diverse exposure 효과와 분리하여 진단하는 실험 설계가 독창적.

Limitation & Further Study

• 30개 문제, 30개 논문이라는 비교적 작은 benchmark 규모로 인해 통계적 검정력이 제한적일 수 있으며, 특히 조건 C와 D 사이 47% vs 53%의 near-tie 결과가 실제 무차이인지 검정력 부족인지 구분이 어려움.
• GPT-5 단일 생성 모델과 Claude Sonnet 4.6 단일 judge 모델 조합에 의존하여 특정 모델 조합에 결과가 민감할 가능성이 있고, 다른 LLM 조합으로의 일반화가 검증되지 않음.
• rubric 기반 judge 평가 자체가 novelty/validity 등 주관적 개념을 완전히 포착하는지에 대한 타당성 검증(예: human evaluation과의 상관)이 제한적으로 다뤄짐.
• 후속 연구로 semantic rationale을 실제로 활용하도록 유도하는 synthesis prompting 전략이나, retrieval-synthesis 간 attribution을 강화하는 학습 기반 방법이 필요.

Evaluation

총평: LLM ideation 시스템의 cross-domain retrieval이 실제로 semantic rationale을 활용하는지 아니면 단순 diversity exposure에 불과한지를 명확한 ablation 설계로 진단한 점이 돋보이는 workshop 논문으로, 결과의 부정적(negative) 성격에도 불구하고 향후 research automation 설계에 실질적 시사점을 제공한다.