AutoBio: A Simulation and Benchmark for Robotic Automation in Digital Biology Laboratory

Motivation

• Known: Vision-language-action (VLA) 모델은 시각, 언어, 고유감각 정보를 결합하여 end-to-end 방식의 행동 궤적을 생성하는 generalist robotic policy로 주목받고 있으며, 국내 작업에서 인상적인 결과를 보였다. 그러나 기존 벤치마크들은 주로 가정 환경이나 팩토리 설정에 한정되어 과학 실험과 같은 전문 도메인 평가는 부족하다.
• Gap: Biology laboratory 환경에서 로봇 자동화를 체계적으로 평가할 수 있는 시뮬레이션 및 벤치마크가 없다. 기존 로봇 시뮬레이터(MuJoCo, Isaac Sim 등)는 고정밀 조작, 투명 재료 렌더링, 대화형 디지털 인터페이스 상호작용 등 생물학 실험에 특화된 기능을 제공하지 못한다.
• Why: Biology laboratory는 명확한 프로토콜을 따르면서도 높은 정밀도와 다양한 인터페이스(디지털 디스플레이, 제어판, 관절형 메커니즘) 상호작용이 필요하므로, VLA 모델의 instruction following, visual reasoning, precision manipulation 능력을 평가하는 이상적인 테스트베드이다. 또한 반복적이고 시간 소모적인 실험실 작업 자동화의 실질적 가치가 크다.
• Approach: AutoBio는 세 가지 핵심 기여로 구성된다: (1) 3D Gaussian Splatting, CAD refinement, texture baking을 통한 instrument digitization pipeline, (2) thread mechanism, detent mechanism, eccentric mechanism, quasi-static liquid computation 등을 지원하는 MuJoCo physics plugin 개발, (3) 투명 재료와 동적 UI를 처리하기 위한 Blender의 Physically Based Rendering 파이프라인 통합. 이를 통해 생물학적 원시 작업(Transfer, Combination, Measurement, Conditioning, Preservation, Separation)을 robotic motion primitive로 구현하고, 세 가지 난이도 수준의 벤치마크 작업을 구성했다.

Achievement

Figure 1:

AutoBio 시뮬레이터 개발: instrument digitization, 특화된 physics plugin, PBR 기반 투명도 렌더링 및 동적 디스플레이 기능을 갖춘 완전한 biology lab 시뮬레이션 환경 구축. AutoBio 벤치마크: 생물학적으로 타당한 16개 작업을 3단계 난이도로 구성하여 표준화된 평가 인프라 제공. VLA 모델 평가: π0, RDT 등 SOTA VLA 모델에 대한 기준선 평가를 통해 precision manipulation, instruction following, visual reasoning에서 현저한 격차를 드러냄. 공개 리소스: 시뮬레이터, 벤치마크, 데모 생성 인프라를 공개하여 재현 가능한 연구 촉진.

How

Figure 1:

• Instrument digitization: 실제 실험실 기기를 3D Gaussian Splatting으로 스캔한 후 CAD 정제 및 texture baking 과정을 거쳐 조작 가능한 assets로 변환
• Physics plugins: MuJoCo 기반 custom plugin을 개발하여 생물학 실험에서 흔한 thread, detent, eccentric mechanism과 quasi-static liquid behavior 시뮬레이션
• Rendering stack: Blender의 PBR 파이프라인을 적분하여 투명 액체와 컨테이너의 물리 기반 렌더링 및 동적 UI 텍스처 렌더링 구현
• Task decomposition: 복잡한 생물학 실험을 6가지 생물학적 원시 작업(biological primitives)으로 분해하고, 이를 reach & align, relocate, actuate 등 3가지 motion primitive로 구현
• Benchmark design: 3단계 난이도 수준(초급, 중급, 고급)으로 16개 작업 구성, trajectory synthesis와 VLA model 통합을 위한 완전한 인프라 제공

Originality

• Biology laboratory 환경에 특화된 최초의 포괄적 로봇 시뮬레이션 및 벤치마크 프레임워크 제시
• Instrument digitization pipeline의 자동화된 워크플로우 (3D Gaussian Splatting + CAD refinement + texture baking)
• 생물학 실험에 필수적인 physics mechanism (thread, detent, eccentric, quasi-static liquid) 구현
• VLA 모델 평가를 위한 과학 실험 중심의 long-horizon, high-precision task 설계
• 투명 재료와 동적 인터페이스 렌더링을 위한 PBR 기반 rendering stack

Limitation & Further Study

• 벤치마크 작업이 16개로 제한적이며, 더 다양한 생물학 실험(예: 유전자 편집, 단백질 정제 등) 포함 필요. 현재는 기초 실험실 작업에 중점. - Baseline 평가가 π0, RDT 두 개 모델로만 제한되어 있으며, 더 많은 VLA 모델과 specialized robotic policies 비교 부족. - 실제 로봇 시스템(예: 로봇 팔, gripper)의 제한된 표현으로 인한 시뮬레이션-현실 간격(sim-to-real gap) 논의 미흡. - 시뮬레이터의 계산 복잡도, 실행 속도 등 성능 지표 제시 부족. - 생성된 demonstration의 품질 평가 및 human annotation 비용에 대한 정보 부족. 후속 연구: (1) 추가 생물학 실험 도메인(화학, 재료과학 등)으로 확장. (2) sim-to-real transfer learning 기법 개발 및 실제 로봇 실험 검증. (3) 더 큰 규모 VLA 모델과의 파인튜닝 성능 평가. (4) Interactive learning 및 human-in-the-loop 자동화 시스템 탐색.

Evaluation

총평: AutoBio는 biology laboratory 환경에서 로봇 자동화를 체계적으로 평가하기 위한 첫 번째 포괄적 프레임워크를 제공하며, 특화된 physics plugin과 PBR 렌더링을 통해 기존 시뮬레이터의 한계를 효과적으로 극복했다. VLA 모델 기준선 평가는 과학 실험 중심의 로봇 지능 개발에 중요한 통찰력을 제공한다. 다만 벤치마크 규모 확장, 더 많은 모델 평가, sim-to-real gap 논의 보강이 필요하다.