Figures as Interfaces: Toward LLM-Native Artifacts for Scientific Discovery

Motivation

Known: LLM은 텍스트 생성, 도구 사용, 복잡한 분석 작업 조율 능력을 보유하고 있다. 그러나 기존 인간-AI 협업에서 도형은 정적 이미지로 처리되어 LLM이 픽셀이나 캡션에서 다시 해석해야 한다.
Gap: 현재의 LLM 기반 과학 시스템들은 선형적 end-to-end 워크플로우나 일회성 대화형 인터페이스에 제한되어 있으며, 반복적이고 비선형적인 과학적 추론의 본질을 포착하지 못한다. 또한 도형의 완전한 출처와 분석 프로세스 추적이 어렵다.
Why: 도형을 기계 해석 가능한 구조로 설계하면 LLM이 데이터 선택을 추적하고, 분석을 확장하는 코드를 생성하며, 자연어로 새로운 시각화를 조율할 수 있어 발견 가속, 재현성 향상, 투명한 추론이 가능해진다.
Approach: LLM-native figures 개념을 hybrid language-visual interface로 구현하고, Nexus 시스템을 과학 도메인에서 개발한다. 이는 LLM 에이전트와 도형, 데이터 간의 양방향 매핑을 통해 자연언어 및 직접 조작을 지원한다.

Achievement

Figure 3: Case study: university innovation landscape. (a) The figure generated for the first

LLM-native figures 프레임워크: 데이터, 분석 작업, 코드, 시각화 명세를 단일 구조로 캡슐화하는 기계 판독 가능한 도형 설계
Nexus 시스템 개발: science of science 도메인에서 LLM-native figures를 실현하는 proof-of-concept 시스템 구현
재현성 및 투명성 개선: 모든 분석 단계(사용자 지시, 코드 실행, 시각화 생성)를 기록하고 버전 히스토리 보존
반복적 탐색 지원: 연결된 도형들을 통해 비선형적 과학적 발견의 궤적을 보존하는 data-driven artifacts 지원

같이 보면 좋은 논문

Data-driven predictions in the science of science

기반 연구과학 데이터 기반 예측 연구는 LLM-native 과학 도형이 데이터 출처 기반 발견을 가능하게 하는 이론적 맥락을 제공한다.

OpenRad: a Curated Repository of Open-access AI models for Radiology

다른 접근방사선학 AI 모델의 개방형 저장소는 LLM-native figures처럼 과학적 발견의 재현성과 발견 가능성을 높이는 유사한 목표를 추구한다.

ARA: Agentic Reproducibility Assessment For Scalable Support Of Scientific Peer-Review

다른 접근LLM-native figures를 통한 과학 발견의 재현성 향상 접근법과 Agentic Reproducibility Assessment는 모두 AI 기반 재현성 문제를 다루지만 서로 다른 방법론을 사용한다.

MatDeplot: Agent-Ready Materials-Curve Understanding for Scientific Reasoning

다른 접근기계 판독 가능한 과학 문서 생성의 유사한 목표를 가진 연구이다

Toward a Scientific Discovery Engine for Weather and Climate Data: A Visual Analytics Workbench for Embedding-Based Exploration

다른 접근LLM 기반 과학적 아티팩트 생성의 대안적 접근 방식을 제시한다

후속 연구고차원 임베딩 시각분석의 기초 방법론을 제공하는 연구

Embracing Foundation Models for Advancing Scientific Discovery

후속 연구파운데이션 모델을 과학적 발견에 활용하는 연구가 LLM-native 과학 도형 개념의 실용적 구현과 응용 맥락을 제공한다.

Scientific production in the era of large language models

후속 연구LLM 시대의 과학적 생산성 분석은 LLM-native artifacts가 과학적 발견 과정을 어떻게 변화시킬지에 대한 광범위한 맥락을 제공한다.

DREAM: Deep Research Evaluation with Agentic Metrics

후속 연구LLM-native figures는 DREAM이 agentic evaluation에서 중요하게 다루는 사실성 검증 문제를 시각적 데이터 출처 추적으로 해결하는 보완적 접근법을 제시한다.

The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research

후속 연구완전한 데이터 출처 정보를 포함하는 LLM-native figures는 코드와 데이터를 함께 검증하는 execution-grounded evaluation의 시각적 증거를 제공하는 인터페이스가 될 수 있다.

Audit-Grade Harness for Agent-driven Scientific Computation Workflows

후속 연구과학 도형의 인터랙티브 인터페이스화 개념을 확장한 연구이다

Paper Circle: An Open-source Multi-agent Research Discovery and Analysis Framework

후속 연구Paper Circle의 구조화된 지식 그래프 생성이 LLM-native 과학 도형에서 제안하는 기계 판독 가능한 과학적 발견 인터페이스와 연결된다.

Scimage: How good are multimodal large language models at scientific text-to-image generation? arXiv preprint arXiv:2412.02368, 2024.

응용 사례LLM native 아티팩트 개념을 실제 과학적 발견 인터페이스에 응용한다

REFORMS: Consensus-based Recommendations for Machine-learning-based Science

응용 사례REFORMS의 ML 연구 재현성 체크리스트는 LLM-native figures가 제공하는 데이터 출처 추적 기능이 실제로 충족시켜야 할 재현성 요건의 기준을 제시한다.

Artificial intelligence and illusions of understanding in scientific research

반론/비판AI의 과학적 이해 착각에 대한 비판적 논문은 LLM이 과학 도형을 생성·조작한다는 낙관적 전망에 대한 반론을 제공한다.

Figures as Interfaces: Toward LLM-Native Artifacts for Scientific Discovery

Essence

Motivation

Achievement

How

Originality

Limitation & Further Study

Evaluation

같이 보면 좋은 논문

Figures as Interfaces: Toward LLM-Native Artifacts for Scientific Discovery

Essence

Motivation

Achievement

How

Originality

Limitation & Further Study

Evaluation

같이 보면 좋은 논문

🎧 Audio Overview