DataJoint 2.0: A Computational Substrate for Agentic Scientific Workflows

Motivation

Known: 소프트웨어 엔지니어링의 DevOps(버전 제어, 테스트, CI/CD)는 AI 에이전트 배포 성공의 핵심 요인이며, 현재 과학 연구도 AI 에이전트 통합으로의 변환 중
Gap: 파일 기반 시스템(유연성 ↔ 분산된 provenance), 작업 중심 오케스트레이터(실행 관리 ↔ 데이터 구조 무관), 데이터 레이크하우스(분석 쿼리 최적화 ↔ 외부 계산)는 모두 agentic 워크플로우가 요구하는 통합 기반을 제공하지 못함
Why: AI 에이전트가 과학 워크플로우에 참여할 때 데이터 손상 위험, provenance 단편화, 안전한 실험 부재, 원자성 부재로 인한 협업 저해 발생
Approach: 관계형 데이터베이스의 엄격성(참조 무결성, 원자적 트랜잭션, 선언적 쿼리)을 과학 워크플로우에 맞게 확장하여 테이블=워크플로우 단계, 행=산출물, 외래키=실행 순서로 표현

개념 기여: 관계형 모델의 제3 패러다임으로 "관계형 워크플로우 모델" 제시
- Codd의 수학적 기초(술어 논리), Chen의 Entity-Relationship Model과 구별되는 운영적 차원 추가
- 테이블 계층(Manual/Lookup/Imported/Computed), 워크플로우 정규화 원칙(Workflow Normalization Principle) 정의
기술 기여: 4가지 혁신 기술
- Object-Augmented Schema (OAS): 관계형 메타데이터와 확장 가능 객체 저장소의 통합 트랜잭션 제어
- Semantic Matching: 속성 lineage 기반 이진 연산자 매칭으로 동명 속성의 오류적 조인 방지
- Extensible Type System: 도메인 특화 형식을 위한 플러그인 코덱
- Automated Job Management: 분산 계산의 결정적 per-table 조직과 provenance 추적
아키텍처 통합: 데이터 구조, 데이터, 계산 변환을 단일 쿼리 가능 프레임워크로 통합 → 스키마 자체가 워크플로우 명세(Active Schema)

스키마 설계:
- 테이블을 Python 클래스로 정의 → 버전 제어, 테스트 가능, 배포 가능
- make() 메서드로 선언적 계산 명시 (Imported/Computed 테이블)
- 외래키로 계산 의존성 정의 (명시적, 쿼리 가능, 강제 가능)
질의 대수(5연산자):
- Restrict, Project, Join, Aggregate, Union
- 대수적 폐포성: 모든 연산자는 잘-정의된 주요키를 가진 유효한 엔티티 집합 반환
- SQL 결과("행의 모음")와 달리 엔티티 무결성 보존
Master-Part 관계: 원자적 트랜잭션 의미론 (cascade delete/insert)
다이어그램 표기법: 테이블 계층별 시각화 (모양/색) + 의존성 유형 (실선=ID 상속, 점선=참조)
Job 조직: Per-table 분산 계산 조정 → 외부 오케스트레이션과 조합 가능

성숙도: 논문 내용이 2026년 미래 출판물이므로 실제 평가 불가 (시뮬레이션/가설 기반)
대규모 평가 부재: 제시된 15,000자에서 벤치마크, 사용 사례 성과, 성능 비교 미제공
타 시스템과의 통합: 외부 오케스트레이션과의 조합 가능성 언급하나 구체 메커니즘 부재
학습 곡선: 관계형 워크플로우 모델의 새로운 패러다임이 과학자들의 채택을 제약할 가능성
후속 연구:
- 신경과학/생명공학 등 대규모 다기관 파이프라인의 실제 적용 평가
- Kubernetes, Nextflow 등 주류 오케스트레이터와의 통합 전략
- AI 에이전트의 자동화된 파이프라인 진화 메커니즘 (현재는 에이전트 참여 능력만 제시)