On the Effects of Reasoning Effort and Prompt-Based Diversification on Scientific Ideation Diversity

Motivation

• Known: reasoning effort를 늘리면 수학·코딩 등 closed-ended task의 정확도가 향상된다는 것은 잘 알려져 있으며, LLM 기반 open-ended 생성에서는 intra-model repetition과 inter-model homogeneity로 특징되는 "Artificial Hivemind" 현상, 즉 mode collapse가 관찰된 바 있다. 또한 LiveIdeaBench 등 scientific ideation benchmark가 존재하고, LLM 생성 아이디어가 전문가 작성 아이디어보다 novelty 평가에서 우수하나 다양성이 부족하다는 human study 결과도 보고되어 있다.
• Gap: reasoning effort가 closed-ended task 정확도에는 유익하다고 알려져 있지만, open-ended scientific ideation의 diversity에 어떤 영향을 미치는지는 체계적으로 측정된 바 없으며, 이것이 기존 prompt-based diversification 방법과 어떻게 상호작용하는지도 알려져 있지 않다.
• Why: AI Scientist 시스템에서 ideation은 연구 파이프라인의 가장 상류 단계로서 생성되는 연구 아이디어의 다양성이 하류 탐색 공간(downstream search space)의 범위를 결정하므로, reasoning effort가 이 다양성에 미치는 영향을 규명하는 것은 AI Scientist 시스템 설계에 직접적인 함의를 가진다.
• Approach: 세 개의 frontier LLM(Claude Sonnet 4.6, GPT-5.4, Gemini 3.1 Pro)과 세 가지 reasoning-effort 수준(low/medium/high)에서 LiveIdeaBench 키워드셋을 사용해 대규모로 아이디어를 생성하고, lexical metric, 세 가지 embedder 기반 metric, 두 judge 모델을 사용한 pairwise LLM-as-a-Judge rubric으로 다양성을 평가했으며, Verbalized Sampling과 String Seed of Thought 두 prompt-based diversification 기법을 low/high effort에서 추가로 비교했다.

Achievement

Figure 1. Two test-time axes for scientific-ideation diversity: reasoning effort (a) and prompt-based methods (b). (a) R

1. reasoning effort의 다양성 효과 정량화: low에서 high로 reasoning effort를 높이면 within-keyword embedding pair distance가 세 모델 모두에서 13–36% 증가하지만, LLM이 평가한 originality, feasibility, clarity 점수에는 감지 가능한 변화가 없음을 확인했다.
2. Verbalized Sampling의 토큰 효율성 입증: quartile로 정의된 keyword subset에서 low effort의 Verbalized Sampling이 high-effort default-prompt의 embedding diversity를 이idea당 reasoning token을 80–100% 적게 사용하면서 맞먹거나 능가하며, 품질 저하도 감지되지 않음을 보였다.
3. 기하학적 구분 가능성 확인: embedding space에서 reasoning effort와 prompt 변화로 생성된 아이디어 분포가 모든 model–embedder–keyword-subset 조합(18개)에서 nearest-neighbor로 구분 가능함을 보였다.
4. 대규모 실증적 지도 제공: 300,000개 이상의 생성물과 1,500,000개 이상의 pairwise judgment를 통해 embedder와 judge에 걸쳐 일관된 결과를 제시하고, 향후 연구 방향(관측된 shift가 과학적으로 의미 있는 차이인지에 대한 downstream evaluation 등)을 제시했다.

How

Figure 3. 1-NN two-sample classification accuracy (Section 3.6) for 12 comparisons of (prompt, effort) conditions × 3 em

• LiveIdeaBench의 단일 keyword prompt를 실험 기반(substrate)으로 사용해 prompt scaffolding에 의한 혼입(confound)을 최소화
• 세 frontier LLM × 세 reasoning-effort 수준 × 1,160–1,180개 keyword에서 keyword당 30개 idea를 반복 샘플링하여 300,000개 이상의 생성물 확보
• diversity를 lexical metric(예: Self-BLEU, Distinct-N 계열), 세 가지 embedder 기반 embedding metric(within-keyword pair distance 등), 그리고 두 judge 모델을 활용한 4단계 pairwise LLM-as-a-Judge rubric의 세 축으로 평가
• 각 idea에 대해 originality, feasibility, clarity 등 quality rating도 함께 수집
• Verbalized Sampling과 String Seed of Thought를 low/high effort 조건에서 각 모델의 diversity 분포 상·하위 quartile keyword subset에 적용해 비교
• 1-NN two-sample classification(Section 3.6)을 이용해 reasoning-effort 및 prompt-based 조건으로 생성된 embedding 분포가 서로 구분 가능한지 정량화

Originality

• reasoning effort가 open-ended scientific ideation diversity에 미치는 영향을 체계적으로 측정한 최초의 대규모 실증 연구라는 점에서 독창적임
• lexical, embedding-based, LLM-as-a-Judge라는 세 가지 상호보완적 diversity 평가 축을 결합하고, 다수의 embedder와 judge 모델을 교차 검증에 활용하여 결과의 견고성을 높임
• reasoning effort 축과 prompt-based diversification 축(Verbalized Sampling, String Seed of Thought)을 동일한 프레임워크 안에서 비교하여 test-time compute 관점에서의 token 효율성까지 정량화함
• 1-NN two-sample classification을 diversity-shift의 기하학적 구분 가능성 검증 도구로 활용한 점도 새로운 접근

Limitation & Further Study

• reasoning-effort로 인한 embedding diversity 증가가 실제로 "과학적으로 의미 있는" 아이디어의 차이로 이어지는지는 검증되지 않았으며, 저자들 스스로도 이를 핵심 후속 과제로 지목함
• LiveIdeaBench의 단일 keyword prompt라는 최소 맥락(minimal-context) 설정에 국한되어, 더 복잡한 실제 연구 맥락(예: 논문 전체 맥락, 다단계 상호작용)으로의 일반화는 검증되지 않음
• 세 개의 proprietary frontier LLM에 한정되어 다른 reasoning-capable 모델이나 오픈소스 모델로의 일반화 가능성은 미확인
• reasoning effort가 closed-ended accuracy에서 open-ended diversity로 어떻게 transfer되는지에 대한 메커니즘적 설명은 제공되지 않음
• 향후 연구로 다양한 ideation task와 모델로의 일반화, 그리고 diversity shift의 downstream 과학적 유의미성 평가가 필요함

Evaluation

총평: AI Scientist 시스템 설계에 중요한 실용적 함의를 지니는 대규모의 견고한 실증 연구로, reasoning effort와 prompt-based diversification이 ideation diversity에 미치는 영향을 정량적으로 체계화한 점이 돋보이나, 관측된 다양성 증가의 과학적 유의미성 검증은 향후 과제로 남아 있다.