SafeVLA-Bench: A Benchmark for the Success-Safety Gap in Vision-Language-Action Models

Motivation

• Known: 기존 VLA 벤치마크(LIBERO, RoboCasa)는 이진 작업 완료 여부만 측정하고 궤적 상의 안전 관련 동작(과도한 접촉, 비표적 객체 교란, 물체 불안정성, 로봇 자체 충돌)을 무시하는 문제가 존재한다.
• Gap: 기존 연구들(ManiSkill-HAB, OmniGuide, PKU-SafeVLA)은 단일 또는 제한된 안전 메트릭, 비이식성, 작업별 적용성 부족, 연속 심각도 측정 불가능 등의 한계를 가지고 있다.
• Why: 실제 환경에서 로봇은 목표 달성뿐 아니라 안전한 궤적으로 수행해야 하며, 높은 작업 성공률이 불안전한 동작을 숨길 수 있기 때문에 정량적 안전 평가가 필수적이다.
• Approach: Post-hoc 안전 평가 프레임워크로 기존 벤치마크의 네이티브 프로토콜을 보존하면서 호스트-어댑터 인터페이스를 통해 안전 신호를 추출 및 표준화하고, 의미론적으로 정의된 세 가지 실패 모드(unsafe scene interaction, unsafe object handling, unsafe execution)에 기반한 STL 사양 라이브러리를 구성한다.

Achievement

Figure 1: SafeVLA-Bench overview. SafeVLA-Bench combines task-aware STL safety specifica-

핵심 성과:

• SafeVLA-Bench 프레임워크 개발: 이식 가능한 post-hoc 안전 평가 계층으로 8개의 안전 제약 패밀리를 정의
• STL 기반 사양 라이브러리: ISO/TS 15066, 하드웨어 제한, 선행 벤치마크 앵커에 기반한 외부 접지형 임계값 제공
• 이중 메트릭 체계: SBU(성공이면서 안전 위반 비율)와 VSI(정규화된 최대 위반 심각도)로 안전과 작업 완료 분리
• 광범위한 실증 평가: LIBERO와 RoboCasa-365에서 9개 정책 벤치마크 항목 평가 결과, 높은 SR 정책도 13-15% 불안전 에피소드율과 36-56% 안전 위반 발생률 노출

How

Figure 1: SafeVLA-Bench overview. SafeVLA-Bench combines task-aware STL safety specifica-

• 호스트-어댑터 인터페이스: 각 벤치마크의 네이티브 관찰, 행동, 롤아웃 프로토콜, 성공 술어를 보존하면서 안전 신호 추출
• 의미론-우선 설계: 장면 상호작용, 객체 취급, 실행의 세 가지 의미론을 먼저 정의한 후 시뮬레이터별 관찰 술어로 구현
• 작업별 적용성 레지스트리: 각 작업에 대해 의미론적으로 유효하고 실제 안전 우려를 반영하는 사양만 활성화
• STL 정량적 강건성: 각 사양이 바이너리 만족값과 STL 강건성 마진을 모두 반환하여 위반 심각도 측정 가능
• 임계값 정당성: 정책 분포가 아닌 물리적 기준, 안전 표준, 하드웨어 제한에서 임계값 도출

Originality

• 이중 메트릭의 창의성: 기존 바이너리 안전 플래그를 SBU(빈도)와 VSI(심각도)로 분리하여 위반의 다양한 정도를 포착
• 정의역 기반 임계값 설정: 정책 성능 분포가 아닌 ISO 표준, 하드웨어 명세, 선행 벤치마크에 기반한 외부 접지형 임계값으로 평가 편향 제거
• 작업별 의미론적 적용성: 각 작업의 실제 안전 우려에 따라 사양을 선택적 활성화하여 거짓 양성 방지
• Post-hoc 이식성: 기존 벤치마크를 수정하지 않으면서 네이티브 성공률 비교 가능성 유지

Limitation & Further Study

• 시뮬레이터 충실도: LIBERO, RoboCasa-365 등 시뮬레이터 기반 평가로 현실 간극이 존재하며, 시뮬레이터의 물리 근사 오류가 안전 신호 정확도에 영향
• 임계값 보정의 한계: 200N 접촉 한계, 5mm 비표적 변위, 15° 객체 기울기 등 주요 임계값이 보수적 추정치이며 실제 안전 기준과의 정확한 대응 관계 미확인
• 대규모 정책 평가 부족: 9개 정책 항목만 평가하였고 더 다양한 VLA 모델(RT-2, π0 등) 포함 평가 필요
• 실제 배포 검증 부재: 시뮬레이터 기반 안전 사양이 현실 환경에서 동등한 안전 보장을 제공하는지 미검증

후속 연구 방향:

• 현실 환경에서의 안전 사양 유효성 검증
• 임계값 자동 조정 메커니즘 개발
• 추가 VLA 모델과 도메인(humanoid, mobile manipulation) 확장
• 안전-성능 트레이드오프 분석을 위한 최적화 가이드라인 제시

Evaluation

총평: SafeVLA-Bench는 VLA 벤치마크에서 간과되어 온 성공-안전 간극을 명확히 드러내고, 형식화되고 이식 가능한 평가 프레임워크를 제공함으로써 로봇 안전 연구에 중요한 기여를 한다. 다만 시뮬레이터 충실도, 임계값 보정의 한계, 현실 환경 검증 부재 등의 제약이 있다.