Efficient and Safe Molecular Assembly via Reinforcement Learning and Constraint Solving

Motivation

• Known: STM은 개별 원자와 분자를 정밀하게 조작할 수 있어 논리 회로, 메모리, quantum corral 등 다양한 나노 구조물 제작에 활용되어 왔으며, 기존 연구는 주로 STM 신호 분석, 이미지 분류, tip 준비 자동화 등에 machine learning을 적용해왔다.
• Gap: 기존 자율 조작 연구는 개별 원자나 상호작용하지 않는 단순 분자(예: CO 분자) 이동에 국한되었고, 회전 자유도를 갖는 복잡한 분자로 구성된 대규모 조립체를 계획하고 충돌 없이 실행하는 통합 프레임워크와 이를 검증할 고충실도 시뮬레이션 환경이 부재했다.
• Why: STM 기반 나노 조립은 양자컴퓨팅 등 미래 기술의 핵심 빌딩블록이 될 수 있지만, 현재는 숙련된 전문가가 수개월에 걸쳐 100개 내외의 원자·분자만 수작업으로 조립할 수 있는 수준이며, 자동화가 이루어지면 수백 개 분자 규모의 복잡한 구조체 제작이 가능해져 나노물리·양자기술 연구를 크게 가속할 수 있다.
• Approach: 분자-목표 위치 할당과 충돌 없는 실행 순서를 계산하는 두 단계(할당 최적화와 satisfiability solving 기반 스케줄링) 플래닝 알고리즘을 제안하고, 각 분자 이동을 수행하는 RL 에이전트를 Gymnasium API 기반의 NanoAssemblyGym 시뮬레이터에서 학습·검증한다.

Achievement

Figure 3. Example execution of the construction algorithm: (a)

1. 충돌 없는 조립 계획 알고리즘: 분자를 목표 위치에 할당하고 총 이동 거리를 최소화하면서, SAT solving을 통해 각 분자가 이동 시점에 빈 통로(corridor)를 확보하도록 하는 실행 스케줄을 계산하는 반복적 알고리즘을 제시했다.
2. NanoAssemblyGym 시뮬레이션 환경: Gymnasium API 기반으로 구축되어 기존 RL 라이브러리와 원활히 통합 가능한 고충실도 분자 조작 시뮬레이터를 공개했다.
3. 대규모 조립 실증: 최대 420개 분자로 구성된 구조체의 자율 조립을 시연했고, 최대 규모 조립체에 대해서도 몇 분 내에 고수준 계획을 계산할 수 있음을 보였다.
4. 높은 성공률: 30,000회 이상의 분자 이동 시도 중 단 10건의 충돌만 관측되어, 학습된 RL 에이전트가 거의 100%에 가까운 성공률로 조립을 수행함을 입증했다.

How

Figure 4. Examples of the two types of precedence constraints.

• 분자 집합 Mol과 목표 조립체 Ass를 정의하고, 각 분자를 목표 위치에 매칭하는 할당 문제를 정식화하여 총 이동 거리를 최소화
• Phase 1(구성 계획): 할당 계산과 SAT 기반 스케줄 탐색을 번갈아 수행하며, 실행 불가능한 스케줄이 나오면 충돌을 유발하는 분자-목표 할당을 배제하고 재계산하는 반복(iterative) 절차 적용
• 각 분자의 이동 시 여유 통로(empty corridor)가 확보되도록 선행 제약(precedence constraint) 조건을 SAT solver로 인코딩하여 실행 가능한 스케줄 도출
• Phase 2(실행): 학습된 강화학습(RL) 에이전트가 STM 액션 시퀀스(팁 배치, 전압 펄스 인가 등)를 실행하여 개별 분자를 목표 위치로 이동
• NanoAssemblyGym이라는 Gymnasium API 기반 고충실도 시뮬레이션 환경을 구축하여 RL 에이전트의 학습과 평가에 사용
• 두 종류의 합성 분자와 최대 420개 분자로 구성된 다양한 조립체에 대해 무작위 배치된 분자·장애물 환경에서 실험 수행

Originality

• 회전 자유도를 갖는 복잡한 분자 조립을 위한 최초의 통합 AI 플래닝 프레임워크로, 할당 최적화와 SAT 기반 스케줄링을 결합한 반복적 알고리즘 설계
• 단일 분자·원자 이동에 국한되었던 기존 자율 조작 연구를 수백 개 분자 규모의 충돌 없는 대규모 조립 계획으로 확장
• Gymnasium API와 호환되는 고충실도 분자 조작 시뮬레이션 환경(NanoAssemblyGym)을 새롭게 공개하여 RL 커뮤니티와의 연계를 도모

Limitation & Further Study

• 시뮬레이션 환경에서의 검증에 그쳐 실제 STM 장비 상에서의 실증이 이루어지지 않았으며, 실제 표면 결함, 불완전한 분자, 노이즈 등 실기기 특유의 변동성에 대한 강건성은 추가 검증이 필요함
• 분자 간 상호작용이 복잡해질수록(예: 화학적 결합, 강한 정전기적 상호작용) 충돌 없는 통로 확보를 위한 SAT 인코딩의 확장성과 계산 비용이 커질 수 있음
• RL 에이전트의 학습이 특정 유형의 합성 분자에 한정되어 있어, 매우 다양한 분자 종류와 형태에 대한 일반화 성능 검증이 후속 연구로 필요함
• 충돌 회피 스케줄이 실행 불가능할 경우 할당을 배제하고 재계산하는 방식이 대규모 조립체에서 반복 횟수 증가에 따른 확장성 문제를 야기할 가능성이 있음

Evaluation

총평: STM 기반 나노 조립 자동화라는 실용적이고 도전적인 문제에 대해 플래닝, 제약해결(SAT), 강화학습을 결합한 실질적인 진전을 보여주며, 공개된 시뮬레이션 환경은 후속 연구에 중요한 인프라가 될 것으로 기대되나 실제 장비에서의 검증이 남은 과제이다.