Neural Control: Adjoint Learning Through Equilibrium Constraints

Motivation

• Known: 기존에는 differentiable simulation과 implicit-layer 방법(OptNet, DEQ 등)이 단일 fixed-point 또는 단일 optimization layer를 미분하는 방식으로 gradient를 제공해왔으며, BPTT 및 checkpointing 기법이 long-horizon 문제에서 메모리 효율을 개선해왔다.
• Gap: 기존 implicit-layer 방법들은 단일 solver-defined object(하나의 fixed point나 KKT system)만을 다루기 때문에, DLO 조작처럼 multistable하고 actuation history에 따라 서로 다른 equilibrium branch가 선택되는 sequential implicit rollout에서는 branch-consistent한 trajectory-level sensitivity를 얻지 못하며, 매 Newton/CG iteration을 그대로 backpropagate하는 것은 메모리·연산 비용이 크고 불안정성 근처에서 수치적으로 취약하다.
• Why: 물리 기반 AI, 로보틱스, 그래픽스, 시뮬레이션 등 다양한 분야에서 boundary condition을 통해 energy functional의 equilibrium을 제어하는 문제가 핵심적으로 등장하는데, 이러한 문제를 효율적이고 안정적으로 최적화할 수 있는 방법은 장기간(long-horizon) 제어 및 학습의 실용성을 크게 좌우한다.
• Approach: 각 스텝의 equilibrium을 solver로 수렴시켜 forward rollout을 solver-consistent하게 유지하면서, adjoint formulation으로 equilibrium condition을 미분하여 trajectory-dependent proxy gradient를 계산하고, receding-horizon continuation(RHC)으로 실현된 equilibrium에 최적화를 재고정(re-anchor)하는 방식을 결합한다.

Achievement

Figure 4. Optimization steps (iterations) vs. score (log best-so-far loss) for Tasks 1–3 (mean ±1 stderr over four cases

1. Sequential implicit optimization 정식화: branch-dependent equilibrium rollout을 단일 fixed-point/implicit layer 문제와 구별하여 formal하게 정의함.
2. Proxy-adjoint gradient 방법: 내부 Newton/CG iteration을 unrolling하지 않고도 수렴된 equilibrium solve를 통해 trajectory-dependent sensitivity를 계산하는 방법 제안.
3. Receding-horizon continuation(RHC): 실현된 equilibrium에 최적화를 반복적으로 재고정하여 basin drift와 원치 않는 branch switching을 완화.
4. 실증적 검증: 시뮬레이션 및 실제 로봇 DLO 조작 실험에서 SPSA, iCEM(및 부록의 CEM) 대비 낮은 loss와 짧은 wall-clock time을 달성했으며, 학습된 DEQ-style implicit equilibrium model에도 적용 가능함을 보임.

How

Figure 3. Neural continuation control for multistable shape forma-

• 시스템 상태를 boundary node(제어 가능한 z)와 free node(equilibrium을 통해 결정되는 x)로 discretize.
• 각 스텝에서 energy functional의 최소화 조건(equilibrium condition)을 solver(Newton/CG)로 warm-start하여 수렴시켜 forward rollout 수행.
• adjoint formulation을 이용해 equilibrium condition을 implicit differentiation하여, solver iteration을 backpropagate하지 않고도 trajectory-dependent proxy gradient를 계산.
• receding-horizon continuation(RHC)을 결합하여 매 스텝 실현된 equilibrium branch에 최적화를 재고정함으로써 basin switching을 억제.
• 시뮬레이션 및 실제 로봇 실험에서 shape/trajectory control task를 대상으로 SPSA, iCEM, (부록의) CEM과 성능 비교.
• analytical mechanics 모델뿐 아니라 실험 force-strain 데이터로 학습된 DEQ-style implicit equilibrium model에도 프레임워크 적용.

Originality

• 단일 fixed point나 단일 optimization layer를 다루던 기존 implicit-layer 미분 방법론(OptNet, DEQ 등)을 branch-dependent한 sequential implicit equilibrium rollout으로 확장한 점.
• Neural ODE 계열의 continuous-depth adjoint sensitivity 아이디어를 discrete equilibrium constraint 시퀀스에 적용하여 proxy-adjoint gradient라는 새로운 gradient 경로를 제안한 점.
• receding-horizon continuation을 단순 MPC 재계획이 아니라 multistable equilibrium branch를 추적하고 재고정하는 continuation 메커니즘으로 재해석한 점.

Limitation & Further Study

• proxy gradient가 실제 gradient의 근사치이므로, branch switching이 매우 빈번하거나 basin이 극도로 좁은 경우 여전히 오차가 누적될 가능성이 있어 이론적 오차 한계에 대한 분석이 부족해 보인다.
• 실험이 DLO manipulation이라는 비교적 제한된 도메인에 집중되어 있어, 더 고차원적이거나 다른 물리 시스템(예: 유체, 접촉이 많은 강체 조립)으로의 일반화 가능성은 추가 검증이 필요하다.
• SPSA, iCEM 등 gradient-free 방법과의 비교는 제시되었으나, 다른 differentiable simulation 기반 최신 기법과의 비교가 상대적으로 제한적일 수 있어 추가 baseline 비교가 필요할 수 있다.
• RHC의 재고정 빈도나 continuation horizon 길이에 대한 hyperparameter 민감도 분석이 본문 발췌만으로는 충분히 드러나지 않는다.

Evaluation

총평: Multistable equilibrium 문제를 sequential implicit optimization으로 정식화하고 adjoint 기반 proxy gradient와 receding-horizon continuation을 결합한 견고한 방법론적 기여를 담고 있으며, 실제 로봇 DLO 조작 실험을 통한 검증이 설득력을 더한다.