PaCo-VLA: Passivity-Shielded Compliance Prior for Contact-Rich Vision-Language-Action Manipulation

Motivation

• Known: Vision-Language-Action 모델은 language grounding과 visual-language pretraining을 통해 robot generalization을 향상시켰으나, 저주기의 action token 또는 action chunk 출력이 high-frequency contact dynamics 제어에 직접 사용되면 안전성 문제가 발생한다. Impedance/admittance control과 passivity-based methods는 contact-rich manipulation의 기반이 되는 기술이며, runtime assurance와 safety filter는 untrusted controller를 감싸서 unsafe action을 방지하는 방식으로 알려져 있다.
• Gap: 기존 VLA 연구는 semantic generalization에 초점을 맞추었으나, VLA 출력을 contact-sensitive 작업의 high-frequency controller에 직접 연결하는 인터페이스 문제를 해결하지 못했다. VLA의 저주기 예측 지연, 부정확한 compliance parameter, 또는 stale action이 contact 순간에 위험한 force spike를 야기할 수 있으나, 이러한 semantic-to-control gap을 해소하는 principled framework가 부족하다.
• Why: Contact-rich manipulation은 high-level semantic reasoning과 high-frequency contact dynamics의 안전한 제어를 동시에 요구하는데, VLA의 저주기 출력은 이 두 가지를 직접 연결하기에 부적절하다. Passivity-shielded approach를 통해 semantic contribution과 safety assurance를 명확히 분리할 수 있으며, 이는 foundation model의 deployment 안전성을 크게 향상시킨다.
• Approach: VLA의 출력을 semantic binding, task stage, admittance schedule 등의 task-level compliance proposal로 재정의한다. High-frequency, proposal-independent passivity shield가 이들 proposal을 에너지-탱크 accounting, boundary checks, force monitoring, timing checks를 통해 filtering하여 안전한 admittance command를 생성한다. Paired counterfactual evaluation을 사용하여 semantic contribution을 isolation하고, random/delayed-context/corrupted proposal 등의 control condition과 비교하여 causal value를 측정한다.

Achievement

Figure 2: Runtime shield mechanisms. (a) Box projection maps unfiltered proposals into Θbox;

1. PaCo-VLA framework: VLA-to-compliance 인터페이스를 제안하여 learned model의 semantic proposal과 low-level passivity shield를 명확히 분리한다. 2. Sampled-admittance passivity contract: Box projection, energy-tank accounting, force/torque monitoring을 결합한 proposal-independent runtime contract를 개발하여 zero passivity violation을 달성한다. 3. Causal evaluation protocol: Paired counterfactual trial을 통해 semantic value를 shield/recovery effect로부터 isolation하고, 다양한 perturbation 조건(shuffled language, masked images, wrong-object instruction 등)으로 robustness를 검증한다. 4. Experimental validation: Simulated/real-world connector-insertion 실험에서 unshielded VLA baseline 대비 superior precision을 달성하며, adversarial compliance shift 하에서도 passivity violation을 방지한다.

How

Figure 1: PaCo-VLA overview. Vanilla VLA sends low-rate action chunks directly toward the plant,

• VLA 출력을 task-level proposal (semantic binding, stage, admittance schedule)로 재정의
• Cartesian admittance control (식 1)을 기반으로 compliance schedule θk = (Mk, Dk, Kk)을 shield로 filtering
• Box projection으로 proposal parameter를 admissible region으로 constraint
• Energy tank mechanism으로 active mass/stiffness 증가에 따른 energy charge를 tracking
• Force/torque bounds와 timing checks를 통해 invalid/stale proposal detection
• Guarded recovery mode로 unsafe condition에서 graceful degradation
• Paired counterfactual trial: 원본 조건(live language + visual)과 제어 조건(random proposal, delayed context, shuffled language, masked image, wrong-object instruction 등)을 비교하여 semantic contribution 측정

Originality

• Semantic-to-control interface 분리: VLA를 direct motor command source가 아닌 compliance proposal generator로 재정의하는 관점 자체가 새롭다.
• Proposal-independent shield: 어떤 source의 proposal (learned, random, delayed, classical, recovery)도 동일한 contract를 거치도록 설계하여 source의 영향을 isolate하는 방식이 독창적이다.
• Passivity와 VLA의 결합: Energy-tank accounting과 sampled-admittance passivity를 VLA interface에 직접 적용한 것은 기존의 학습 기반 접근과 다르다.
• Causal evaluation methodology: Paired counterfactual + runtime-contract ablation을 결합한 평가 프로토콜로 semantic value와 shield/recovery의 contribution을 명확히 분리하는 것이 methodologically 강력하다.

Limitation & Further Study

• Diagonal admittance assumption: Compliance schedule을 diagonal-admittance로 제한하여 off-diagonal coupling이 있는 복잡한 contact interaction에는 적용이 제한될 수 있다. 후속 연구: Full 6×6 compliance matrix를 support하는 확장 고려.
• Connector-insertion task 중심: Simulated/real-world experiment가 connector-insertion에 집중되어 다른 유형의 contact-rich task (부드러운 insertion, pivoting, pushing 등)에의 generalization이 충분히 검증되지 않았다. 후속 연구: 다양한 contact task에 대한 evaluation 확대.
• VLA latency 모델링: 논문에서 VLA 예측 지연(latency)을 explicit하게 모델링하거나 bounded latency assumption의 검증이 명확하지 않다. 후속 연구: VLA service latency에 대한 robustness 분석 강화.
• Semantic proposal의 정성성: Energy tank mechanism과 passivity check는 principled하지만, task stage나 semantic binding의 의미가 어느 정도 명확한지, 다양한 task에서 consistent하게 작동하는지에 대한 논의가 부족하다.

Evaluation

총평: 본 논문은 VLA의 semantic generalization과 contact-rich manipulation의 safety requirement를 reconcile하는 실질적이고 principled된 framework를 제시한다. Passivity-shielded interface와 paired counterfactual evaluation protocol은 methodologically 견고하며, zero passivity violation과 superior precision의 실험 결과는 접근법의 실효성을 입증한다. 다만 task diversity 제한과 보다 일반적인 compliance model에 대한 확장성 논의가 있으면 더욱 강화될 것이다.