MOOSE-Star: Unlocking Tractable Training for Scientific Discovery by Breaking the Complexity Barrier

Motivation

• Known: 기존 LLM 기반 과학적 발견 연구는 주로 inference 방법론 개발이나 외부 피드백(리뷰, 데이터 적합도, 루브릭 기반 평가 등)을 이용한 훈련에 집중해 왔으며, P(h|b)라는 핵심 조건부 확률 자체를 직접 모델링하려는 시도는 거의 없었다.
• Gap: P(h|b)를 직접 학습하는 방법은 알려져 있지 않았고, 배경으로부터 다수의 latent inspiration을 지식베이스(N ≈ 10^7 규모)에서 순차적으로 검색·조합해야 하는 조합적 복잡도(O(N^k)) 때문에 end-to-end 훈련이 수학적으로 불가능(intractable)하다는 점이 명확히 규명되지 않았다.
• Why: P(h|b)를 직접적이고 확장 가능하게 학습할 수 있다면, 외부 피드백에 의존하지 않고도 배경으로부터 고품질 가설을 생성하는 근본적인 추론 과정을 모델이 내재화할 수 있어, 과학적 발견을 위한 LLM 훈련의 새로운 방향을 열 수 있다.
• Approach: MOOSE-Chem의 확률적 분해 이론을 훈련에 처음으로 적용하여 P(h|b)를 순차적인 inspiration retrieval과 hypothesis composition 서브태스크로 분해하고, 여기에 hierarchical search, bounded composition, motivation planning이라는 세 가지 혁신을 결합해 복잡도를 지수에서 로그로 낮춘다.

Achievement

Figure 3. Test-time scaling behavior of MOOSE-Star (MS-7B) versus brute-force sampling (R1-DISTILLED-QWEN-7B).

1. 이론적 규명: P(h|b) 직접 훈련이 O(N^k) 조합적 복잡도로 인해 intractable함을 최초로 이론적으로 증명함.
2. 훈련 레시피 제안: 확률 방정식 기반 서브태스크 분해를 통해 복잡도를 O(k×N)의 선형으로, 계층적 검색을 통해 최선의 경우 O(log N)의 로그 복잡도로 낮추는 최초의 tractable하고 scalable한 P(h|b) 훈련 방법을 제공함.
3. 추론 레시피 제안: brute-force 샘플링이 "복잡도 벽(complexity wall)"에 부딪히는 반면, inspiration 기반 계층적 검색은 추론 예산 증가에 따라 지속적으로 성능이 향상되는 확장 가능한 test-time 추론 방법을 제시함.
4. 대규모 데이터셋 공개: 생물학, 화학, 의학, 의료영상, 심리학, 인지과학 분야의 108,717편 논문을 분해한 TOMATO-Star 데이터셋(38,400 GPU시간 투입)을 공개함.

How

Figure 1. Bounded Composition. The concentric circles around i∗

• MOOSE-Chem의 분해 이론을 바탕으로 P(h|b)를 k개의 순차적 단계로 chain rule 분해: 각 단계는 Inspiration Retrieval P(ij|b,hj−1,I)와 Hypothesis Composition P(hj|b,hj−1,ij)로 구성됨.
• Hierarchical Search: 전역 문헌을 semantic search tree로 조직하여 선형 스캔 대신 top-down 탐색을 수행, 검색 복잡도를 O(N)에서 최선의 경우 O(log N)으로 감소시킴.
• Bounded Composition: 정확한 inspiration i*를 중심으로 한 semantic tolerance radius(bounded window) 내의 노이즈가 섞인 inspiration으로 composition 모듈을 훈련시켜 부정확한 검색에 대한 강건성을 확보함(Figure 1의 동심원 개념).
• Motivation Planning: 연구 배경에 "Motivation" 변수를 추가로 명시적으로 모델링하여 탐색 트리의 동적 생성 루트로 활용, 관련 없는 branch를 가지치기(pruning)하여 탐색해야 할 semantic subspace 크기(Nm < N)를 줄임.
• NCBI 데이터베이스에서 2020년 1월~2025년 10월 논문을 수집하고, 시간적 분할(2025년 10월을 테스트셋으로)을 통해 R1-Distilled-Qwen 모델의 지식 컷오프 이후 데이터로 오염(contamination) 위험을 최소화하며 TOMATO-Star 데이터셋을 구축함(수집, 분해, 구조화 표현, 품질 검증의 4단계 파이프라인).

Originality

• P(h|b)를 직접 훈련 목표로 삼아 그 intractability를 조합적 복잡도 관점에서 최초로 이론적으로 규명함.
• 기존 연구(Yang et al., 2025b)가 추론에만 사용했던 확률 분해 방정식을 훈련에 최초로 적용(operationalize)하여 훈련-추론 간의 이론적 연결고리를 마련함.
• Motivation 변수를 탐색 트리의 동적 루트로 활용하는 아이디어와 bounded composition을 통한 검색 노이즈 강건성 확보라는 독창적인 설계를 결합함.
• 대규모 다분야 논문 분해 데이터셋(TOMATO-Star)을 공개하여 후속 연구의 재현성과 확장성을 지원함.

Limitation & Further Study

• "최선의 경우(best case)" O(log N) 복잡도라는 표현에서 알 수 있듯, 계층적 검색 트리의 품질(불균형, 트리 구성 오류)에 따라 실제 복잡도가 이론치에 미치지 못할 가능성이 있으며 이에 대한 최악의 경우 분석이 부족함.
• 지식베이스 I와 latent inspiration 개수 k를 사전에 어떻게 정확히 추정·설정하는지, Markov 가정(hj-1이 이전 inspiration 이력을 충분히 캡슐화)의 타당성 검증이 제한적임.
• TOMATO-Star가 6개 분야에 한정되어 있어, 물리학·공학 등 다른 과학 분야로의 일반화 가능성은 추가 검증이 필요함.
• 시간적 split을 통한 contamination 완화 노력에도 불구하고, 모델의 사전학습 데이터에 유사 개념이 포함되었을 가능성을 완전히 배제하기 어려움.

Evaluation

총평: P(h|b)의 직접 훈련이 갖는 근본적 난제를 이론적으로 규명하고 이를 해결하는 실용적 프레임워크와 대규모 데이터셋까지 함께 제시한 완성도 높은 연구로, 과학적 발견을 위한 LLM 훈련 패러다임에 중요한 이정표가 될 것으로 판단된다.