/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/084_Ai-driven_robotics_for_free-space

Essence

Overview of the AI-driven robotics platform for free-

LLM 기반 설계 에이전트, 컴퓨터 비전, 로봇 팔을 통합하여 자유공간 광학(free-space optics) 실험의 설계·조립·정렬·측정 전 과정을 자동화하는 최초의 AI 구동 로보틱스 플랫폼을 제시한다.

Known: 화학 합성, 재료 발견, 원자 단위 조작 등 여러 과학 분야에서는 로봇 자동화 플랫폼이 이미 성공적으로 도입되어 실험 처리량과 재현성을 크게 향상시켰다. 또한 AI를 활용해 optical configuration을 발견하거나 최적화하려는 연구도 존재한다.
Gap: 그러나 자유공간 광학 실험은 sub-micron 수준의 정렬 정밀도, 민감한 광학 소자의 지속적 튜닝, 환경 변화에 취약한 in-situ 진단 등의 요구 때문에 여전히 대부분 수작업으로 이루어지며, 설계부터 구현까지 완전 자동화된 end-to-end 파이프라인은 아직 존재하지 않았다.
Why: 광학은 나노광학, 양자정보, 재료과학, 생체의학 영상, 계측 등 거의 모든 과학 분야의 기반 기술이므로, 이를 자동화하면 원격 운영, cloud labs, 고처리량 발견(high-throughput discovery) 연구로의 확장이 가능해져 파급력이 크다.
Approach: 사용자의 목표를 자연어로 입력받아 이를 물리적으로 유효한 optical setup으로 변환하는 fine-tuned LLM 기반 설계 에이전트와, 이를 로봇 제어 코드로 변환하는 두 번째 LLM 에이전트, 그리고 컴퓨터 비전 기반 로봇 팔을 결합하여 설계-조립-정렬-측정의 전 과정을 자동화한다.

Comparison of prompting strategies for autonomous

LLM 기반 광학 설계: LLaMA3.1-8B-Instruct 모델을 QuanTA로 parameter-efficient fine-tuning하여 Michelson interferometer, Mach-Zehnder interferometer, Hong-Ou-Mandel interferometer, 4f optical imaging system 등 네 가지 대표 setup을 자연어 설명으로부터 생성할 수 있음을 보였다.
높은 정확도와 효율성: zero-shot GPT-4o, prompt-engineered GPT-4o, chain-of-thought DeepSeek-R1과 비교하여 fine-tuned 모델이 pre-validation accuracy 80% 이상으로 가장 높았고, 사용자 제약 조건(1mm, 0.1° 이내 배치) 준수율도 높으면서 valid setup당 토큰 사용량은 훨씬 낮았다.
로봇 조립 및 정밀 정렬: 컴퓨터 비전을 갖춘 로봇 팔이 sub-millimeter 정밀도의 pick-and-place 작업과 자체 제작한 robot-deployable tool을 이용한 micrometer급 미세 정렬을 수행한다.
자동 측정 실행: beam characterization, polarization mapping, transmission spectroscopy 등 광학 실험실에서 흔히 수행되는 다양한 측정을 사람 조작자보다 뛰어난 일관성으로 자동 실행한다.

Autonomous assembly and alignment of optical setups. (a) Schematic of the robotic platform, consisting of a 7-degree-of-

참조 setup 하나로부터 similarity transformation(이동, 스케일링, 회전, 반사)을 이용한 geometric data augmentation으로 합성 데이터셋을 생성하고, robot-accessible workspace 내 존재, 컴포넌트 비중첩, beam path와 로봇 팔 footprint 비충돌 등 물리적 타당성 기준으로 필터링한다.
auto-captioning으로 다양한 구체성의 자연어 설명(사용자 입력 시뮬레이션)을 생성해 라벨링된 데이터셋을 구성한다.
LLaMA3.1-8B-Instruct 모델을 QuanTA(quantum-inspired tensor network 기반 PEFT)로 두 단계(구조 학습 → 사용자 요청 이해)에 걸쳐 fine-tuning한다.
생성된 setup은 기하학적·물리적 타당성 검증 단계를 거치며, 실패 시 closed-loop correction으로 모델에 재입력되어 개선된다.
검증된 setup은 Claude 3.7 기반 두 번째 LLM 에이전트("Coding agent")에 의해 로봇 실행 가능한 movement command로 변환된다.
컴퓨터 비전을 장착한 로봇 팔이 optical component 식별, pick-and-place, 위치 오차 보정, 미세 정렬을 수행하고, 이후 beam characterization·polarization mapping·spectroscopy 등의 자동 측정을 실행한다.

광학 실험의 설계-조립-정렬-측정 전 과정을 통합적으로 자동화한 최초의 AI 구동 로보틱스 플랫폼이라는 점에서 독창적이다.
LLM을 활용해 자연어 목표를 물리적으로 유효한 광학 setup으로 변환하는 생성적 접근을 채택했으며, 이를 위해 quantum-inspired tensor network 기반 PEFT 방법인 QuanTA를 광학 설계 문제에 최초로 적용했다.
설계와 로봇 실행을 각각 담당하는 두 개의 협업 LLM 에이전트(Optics agent, Coding agent) 구조를 제안하고, closed-loop validation/correction 메커니즘을 통합했다.
값비싼 optical simulation 없이 similarity transformation 기반 data augmentation과 auto-captioning만으로 확장 가능한 학습 데이터셋을 구축한 점도 실용적으로 독창적이다.

시연된 setup이 Michelson, Mach-Zehnder, Hong-Ou-Mandel interferometer, 4f imaging system 등 네 가지 대표적이고 상대적으로 정형화된 구성에 한정되어 있어, 훨씬 복잡하거나 비정형적인 실제 연구용 optical setup에 대한 일반화 가능성은 추가 검증이 필요하다.
발췌된 본문에서는 로봇 조립·정렬(Section II)과 측정 실행 부분의 세부 정량적 성능(정렬 정밀도, 측정 재현성 등)이 충분히 제시되지 않아 전체 파이프라인의 end-to-end 신뢰성 평가가 제한적이다.
fine-tuning에 사용된 합성 데이터가 실제 실험실 환경의 다양한 변동성(조명, 부품 마모, 로봇 캘리브레이션 오차 등)을 얼마나 반영하는지 불명확하며, 향후 더 다양한 실제 실험실 데이터로 검증이 필요하다.
LLM 기반 설계의 실패 사례(hallucination, 물리적으로 불가능하지만 검증을 통과하는 edge case)에 대한 심층 분석이 부족해 안전성 확보를 위한 후속 연구가 요구된다.