An LLM in Two Discovery Experiments for Extreme Astrophysics: Promising Tool and Co-author, Not Fully Independent Yet

Motivation

• Known: AlphaFold류 시스템은 명확히 tool로, The AI Scientist류는 founder를 지향하는 사례로 각각 스펙트럼의 양 극단에 위치한다는 것이 알려져 있으며, AM CVn 이중성은 LISA 검증용 gravitational-wave source로서 그 permanent high-state 서브클래스가 희소하고 관측적으로 발견하기 어렵다는 배경 지식이 존재한다.
• Gap: tool과 founder 사이 스펙트럼의 중간 지점, 즉 실제 과학자 대부분이 위치하는 co-author 역할에 대한 구체적이고 정량화된 사례 연구가 부족했으며, 특히 동일한 LLM이 문제의 결정성(well-specified vs under-determined) 여부에 따라 스펙트럼상 위치가 어떻게 달라지는지에 대한 실증적 비교가 없었다.
• Why: LISA 검증원(source)이 될 수 있는 permanent high-state AM CVn은 학문적으로 희귀하고 중요한 발견 대상이며, 동시에 AI4Science 커뮤니티가 필요로 하는 human-LLM 협업 역할 구분에 대한 조작적 정의(operational definition)를 실제 발견 사례를 통해 제시한다는 점에서 방법론적으로도 의미가 크다.
• Approach: 동일한 LLM을 하나는 힌트 없이 29개 스펙트럼에서 AM CVn을 찾게 하는 완전 자율 과제(Experiment A)에, 다른 하나는 1,487,933개 소스의 eROSITA×Gaia 카탈로그에서 8회의 한 문장짜리 human hint를 통해 후보를 좁혀가는 반자율 과제(Experiment B)에 배치하여 역할 차이를 비교했다.

Achievement

Figure 2. Experiment B candidate count at each stage of the

1. Experiment A 성공: 도메인 힌트 없이 LLM이 스스로 Python 파이프라인을 작성해 line-strength composite score(S=Σ_He Wλ−Σ_H Wλ)로 29개 스펙트럼 중 유일한 AM CVn을 S=+3.6으로 1위 랭크시켰고, 나머지 28개 수소풍부 CV는 모두 음수 점수를 받아 명확히 분리했다.
2. Experiment B의 신규 발견: 1,487,933개 소스에서 8회의 원자적(atomic) human hint만으로 1,487,933 → 30개로 후보를 압축했고, 알려진 high-state 시스템 HP Lib를 223개 중 3위로 복원했으며 TIC 378898110도 top-30에 포함시켰다. 나머지 28개는 미분류 신규 후보로, 실제 신규 발견으로 이어졌다.
3. 조작적 정의 제안: 힌트의 원자성(atomicity), 명료성(legibility), 대체가능성(replaceability)을 기준으로 human-LLM co-authorship을 규정하는 프레임워크를 제시했다.

How

Figure 3. Experiment B reasoning trace. Eight rounds of one-sentence human hints, each encoding a piece of AM CVn domain

• Experiment A: Magellan/MagE로 얻은 29개 환원 1차원 광학 스펙트럼(1개 AM CVn + 28개 수소풍부 CV)을 Python 실행 환경과 함께 제공하고 "identify the AM CVn in this set"이라는 프롬프트만 부여
• 모델이 자율적으로 continuum-normalized peak finding으로 ~11개 라인을 검출, Balmer 라인(Hα, Hβ, Hγ, Hδ, Hϵ)과 He I/He II 라인을 cross-match, 고정 continuum window에서 equivalent width 측정 후 composite score 계산
• Experiment B: eROSITA-DE eRASS1 soft-band X-ray 카탈로그와 Gaia DR3를 20″ 이내로 cross-match한 1,487,933행 데이터를 제공, 목표만 명시하고 8회에 걸쳐 한 문장씩 도메인 지식(dereddening, DET_LIKE_0 임계값, high-state locus 사용, 근접 동반성 제외, X-ray-optical separation 등)을 힌트로 제공
• 각 힌트가 이전 라운드의 특정 실패 모드(다중 대응체 오염, dereddening 누락, blending 등)를 해결하도록 설계되었고, 최종 파이프라인은 Tier-1 품질 컷 → dereddened CMD box → high-state CMD box+SIMBAD 검증 → X-ray-optical separation 컷 → Mahalanobis-like distance 랭킹의 5단계 funnel로 구성

Originality

• 단일 LLM을 동일 과학 프로그램 내에서 역할이 다른 두 실험(완전 자율 vs. 힌트 의존)에 병렬 배치해 직접 비교한 설계가 독창적이다
• tool/co-author/founder 스펙트럼이라는 추상적 논의를 실제 천체물리 발견(신규 AM CVn 후보 30개, 그중 28개 미분류)이라는 구체적 성과로 연결한 점이 참신하다
• human hint의 atomicity·legibility·replaceability를 co-authorship의 조작적 정의로 제안한 것은 AI4Science 방법론 논의에 실질적인 기준을 제공한다

Limitation & Further Study

• Experiment B의 anchor sample이 N=2(HP Lib, TIC 378898110)에 불과해 통계적 검증력이 극히 제한적이며, 최종 30개 후보 중 실제 분광학적 확인(follow-up spectroscopy)이 이루어지지 않아 발견의 확실성이 부족하다
• 8개의 힌트가 사후적으로(post-hoc) 재구성된 서사일 가능성이 있으며, 힌트 제공 순서나 표현 방식에 따라 결과가 달라질 수 있는 재현성 문제가 다뤄지지 않았다
• Experiment A와 B는 문제 유형(분광 분류 vs. 대규모 카탈로그 필터링)이 근본적으로 다르므로 "well-specified vs under-determined"라는 축 하나로 결과 차이를 완전히 설명하기 어려울 수 있다
• 후속 연구로는 다른 LLM 모델이나 다른 천체물리 발견 과제에 대한 일반화 검증, 그리고 top-30 후보에 대한 실제 분광 관측을 통한 검증이 필요하다

Evaluation

총평: 실제 천체물리 발견 과제를 통해 LLM의 tool-co-author-founder 스펙트럼 논의를 구체화하고 신규 후보 발견까지 이끌어낸 흥미로운 사례 연구이나, 통계적 검증과 후속 관측 확인이 부족해 결론의 견고성은 제한적이다.