EO-Agents: A Three-Agent LLM Pipeline for Earth Observation Hypothesis Generation

Motivation

• Known: 기존 LLM 기반 과학적 가설 생성 연구들은 화학, 생의학, 재료과학, 천체생물학 등에서 비정형 문헌을 검색(retrieval)해 자유형식 텍스트 주장(claim)으로 가설을 생성하는 방식(SciMON, ResearchAgent, MOOSE-Chem, ResearchTown 등)을 취해 왔다.
• Gap: Earth observation과 같은 관측 중심·데이터 중심 도메인에서는 유용한 가설이 특정 측정 제품(dataset) 쌍과 분리될 수 없는데, 기존 문헌 검색 기반 파이프라인은 이를 자유형식 텍스트 생성의 부산물로만 얻을 수 있어 명시적으로 데이터셋에 고정된 가설을 만들지 못한다는 한계가 있다.
• Why: NASA만 8,000개 이상의 EO 데이터셋을 12개 아카이브에 분산 보유하고 있어, 가능한 쌍의 조합 공간(~10^6)이 개별 연구자가 탐색할 수 있는 범위를 훨씬 초과하며, 대부분이 과학적으로 미탐색 상태로 남아있어 이를 체계적으로 발굴할 방법이 필요하다.
• Approach: NASA EO Knowledge Graph 위에서 학습된 heterogeneous GNN으로 과거 co-usage 관계 기반 후보 데이터셋 쌍을 순위화하고, 3개의 LLM agent(filter, generator, judge)가 이를 필터링·가설 생성·평가하는 파이프라인을 구축했다.

Achievement

Figure 3. Variance decomposition of validator scores by factor,

1. 구조화된 가설 파이프라인 구축: 1,475개 NASA 데이터셋과 150,351개 노드, 436,203개 엣지로 구성된 지식 그래프를 기반으로 ecohydrology, glaciology, aerosol-cloud interaction, vegetation phenology, stratospheric chemistry 등 다양한 지구과학 분야에 걸친 160개의 구조화된 연구 가설(연구 질문, 검증가능한 가설, 분석 방법, 예상 결과 포함)을 생성했다.
2. 모델 예측 신규 쌍의 과학적 타당성 입증: 모델이 예측한 새로운 데이터셋 쌍이 문헌상 실제 co-usage로 확인된 held-out 쌍과 거의 동등한 plausibility 점수를 LLM judge로부터 받아, 파이프라인이 과학적으로 일관되면서도 미탐색된 조합을 표면화함을 보였다.
3. LLM judge 신뢰성에 대한 분산 분해 분석: GPT-5.2와 Claude Sonnet 4.6을 filter, generator, judge 역할에 교차 배치하는 2×2×2 factorial 실험(640개 판정)을 통해, 가설 순위는 안정적이나(160개 중 159개가 4개 judge 조건에서 2점 이내 변동) 절대 점수는 judge 정체성에 크게 의존함(importance 분산의 약 25%)을 규명하여 단일 LLM judge 평가의 위험성을 지적했다.

How

Figure 3. Variance decomposition of validator scores by factor,

• NASA EO 연구 아티팩트에 대한 heterogeneous knowledge graph를 구축: dataset, platform, instrument, science keyword, project를 typed node로, dataset co-usage(공동 인용 기반), platform-instrument mounting, dataset-metadata membership을 typed edge로 표현
• 2022년 이전 발표된 논문의 co-usage 관계로 link prediction 학습을 수행하는 heterogeneous GNN을 훈련하여 node embedding hi, hj의 dot-product 기반 score(i,j) = σ(hi·hj)로 후보 쌍을 순위화하고, train/val/test co-usage set에 없는 상위 200개 쌍을 도출
• Agent 1(Filter): 200개 쌍을 plausibility·novelty(1-5)로 재점수화하고 가중합으로 최종 점수 산출, tier 분류 후 상위 40개 선정
• Agent 2(Generator): 선정된 40개 쌍 각각에 대해 연구 질문, 검증가능한 가설, 분석 방법, 예상 발견을 포함한 구조화된 가설 생성
• Agent 3(Judge): 각 가설을 importance, tractability, novelty(1-5)로 blind 및 contextual 조건 하에서 평가
• GPT-5.2와 Claude Sonnet 4.6을 세 agent 역할에 모두 교차시키는 2×2×2 factorial 실험으로 640개 judgment를 수집해 분산 분해(variance decomposition) 분석 수행

Originality

• 기존 문헌 검색 기반 자유형식 텍스트 가설 생성과 달리, 가설 생성 과정 자체를 typed knowledge graph 위의 구조화된 retrieval로 대체하여 모든 가설이 두 개의 명명된 NASA 데이터셋에 by-construction으로 고정되도록 설계
• 문헌 co-usage로 학습한 heterogeneous GNN 링크 예측기를 LLM 파이프라인의 후보 생성기(retriever)로 결합한 하이브리드 구조 (SciAgents, AstroAgents 등 유사 다중 에이전트 연구와 달리 symbolic ontology traversal이 아닌 empirical dataset co-usage graph와 GNN ranker 사용)
• 단일 LLM을 각 역할에 고정하던 기존 관행과 달리, 3개 agent 역할에 대해 2개 모델을 모두 교차시키는 2×2×2 factorial 설계로 judge identity에 따른 평가 분산을 정량적으로 분해한 최초 시도 중 하나

Limitation & Further Study

• 가설의 실제 과학적 가치(진짜 실행 가능성, 새로운 발견으로 이어질지)는 LLM judge의 주관적 평가에 의존하며, 실제 도메인 전문가에 의한 검증이나 실험적 실행을 통한 사후 검증이 부재함
• GNN은 2022년 이전 co-usage 데이터로만 학습되어 최신 데이터셋이나 최근 연구 트렌드를 반영하지 못할 수 있으며, co-usage 자체가 실제 과학적 관련성보다 인용 관행이나 접근성 등의 편향을 반영할 가능성이 있음
• judge identity에 따른 절대 점수 편차가 크다는 것을 확인했지만 근본 원인(모델별 평가 기준 차이, 프롬프트 민감도 등)에 대한 심층 분석은 제한적이며, 향후 더 많은 LLM 모델과 더 큰 규모의 인간 전문가 평가를 포함한 검증이 필요함
• 160개 가설이라는 비교적 작은 규모에서의 실험으로, 다른 도메인이나 더 큰 지식 그래프로의 일반화 가능성은 추가 검증이 필요함

Evaluation

총평: 지식 그래프 기반 GNN과 다중 LLM agent를 결합해 Earth observation 도메인에 특화된 실행 가능한 가설을 생성하는 참신하고 실용적인 접근이며, judge identity에 대한 factorial 분석은 LLM 기반 과학 평가 연구에 중요한 시사점을 제공한다.