TransNormal: Dense Visual Semantics for Diffusion-based Transparent Object Normal Estimation

Motivation

• Known: Marigold, GeoWizard, Lotus, StableNormal 등 기존 diffusion 기반 dense prediction 방법들은 Stable Diffusion의 world prior를 활용해 depth/normal 추정에서 강력한 zero-shot 일반화를 보였으나, cross-attention 조건화 경로에 empty 혹은 generic text prompt만 사용하여 semantic conditioning을 거의 활용하지 않았다.
• Gap: 투명 물체는 텍스처가 없고 굴절·반사로 인해 국소적 외관과 실제 기하가 분리되어 있어, 국소 회귀에 기반한 판별적(discriminative) 방법이나 텍스트 조건만 사용하는 생성적 방법 모두 정확한 normal을 추정하기 어렵고, dense normal 주석을 갖춘 고품질 투명 물체 벤치마크도 부족하다.
• Why: 투명 실험 기구(labware)에 대한 신뢰할 수 있는 조명 불변 normal 추정은 조명이 불균일한 실제 실험실 환경에서 embodied AI 기반 자동화 실험을 실현하기 위한 핵심 지각 요소이기 때문이다.
• Approach: Stable Diffusion의 cross-attention 조건화 경로를 sparse text 대신 DINOv3에서 추출한 dense visual semantics로 대체하여 semantic-geometric guidance를 제공하고, 여기에 multi-task 학습 목표와 wavelet 기반 edge-aware 정규화를 결합해 세밀한 구조 디테일을 보존하는 단일 단계 normal 회귀 프레임워크를 구축한다.

Achievement

Figure 4. Qualitative comparison on transparent object normal estimation. We compare our method against state-of-the-art

1. ClearGrasp 벤치마크 성능 향상: 평균 각도 오차(mean angular error)를 25.5% 감소시키고, 최고 기존 방법의 11.25° 정확도 지표를 24.7% 향상시켰다.
2. ClearPose 실측 데이터 일반화: 실제(real-world) 데이터셋 ClearPose에서 평균 오차를 17.7% 감소시켜, 합성 데이터로만 학습했음에도 강력한 zero-shot transfer 성능을 입증했다.
3. 데이터 효율성: 약 122K개의 합성 샘플만으로 학습했음에도 기존 Transformer 기반 판별적 baseline보다 우수한 일반화 성능을 달성했다.
4. TransNormal-Synthetic 데이터셋 공개: 3D labware 메시로부터 렌더링한 물리 기반의 고품질 normal map 데이터셋을 구축·공개하여 투명 물체 지각 연구의 체계적 평가를 지원했다.

How

Figure 3. Illustration of our Wavelet Edge-Aware Regulariza-

• Dual-Stream Encoding: 입력 RGB 이미지를 diffusion backbone(VAE latent)과 DINOv3 인코더에 각각 통과시켜, 저수준 외관 특징과 고수준 semantic 특징을 병렬로 추출한다.
• Semantic-Geometric Cross-Attention: 기존 Stable Diffusion의 text-conditioned cross-attention 레이어를 DINOv3의 dense visual semantic feature를 조건으로 사용하도록 재구성하여, sparse text prompt 대신 dense semantic guidance를 주입한다.
• Single-Step Regression: 다단계 stochastic diffusion sampling 대신 단일 forward pass로 normal map을 직접 회귀하여 추론 효율성을 확보한다.
• Multi-Task Learning Objective: normal 회귀와 함께 보조 태스크(예: 구조적 일관성 또는 관련 기하 정보 예측)를 결합한 손실 함수를 사용한다.
• Wavelet Edge-Aware Regularization: wavelet 변환 기반의 정규화 항을 도입해 예측된 normal map에서 세밀한 경계(edge)와 구조적 디테일을 보존한다(Figure 3).
• TransNormal-Synthetic 데이터셋 구축: 3D labware 메시를 물리 기반 렌더링하여 고정밀 normal map을 생성, 약 122K개의 학습 샘플을 확보했다.

Originality

• diffusion 기반 dense prediction에서 그동안 거의 방치되어 온 cross-attention 조건화 경로를 sparse text가 아닌 DINOv3의 dense visual semantics로 대체한다는 관점 자체가 새로운 문제 인식이다.
• 투명 물체라는 특수 도메인에 특화하여 material-aware geometric guidance라는 개념을 명시적으로 제안하고, 이를 wavelet 기반 정규화 및 multi-task 학습과 결합한 통합 프레임워크를 설계했다.
• 물리 기반 렌더링으로 투명 labware에 특화된 고품질 normal 데이터셋(TransNormal-Synthetic)을 새로 구축하여 공개함으로써, 부족했던 벤치마크 공백을 메웠다.

Limitation & Further Study

• 학습이 전적으로 합성 데이터(TransNormal-Synthetic)에 기반하므로, 실제 환경에서 더 다양한 재질·조명·물체 형태에 대한 일반화 한계가 존재할 수 있으며 sim-to-real gap에 대한 심층 분석이 제한적으로 보인다.
• DINOv3와 Stable Diffusion 두 대형 사전학습 모델을 결합한 아키텍처로 인해 계산 비용과 메모리 요구량이 상당할 것으로 예상되나, 본문 발췌에는 추론 속도·효율성에 대한 정량적 비교가 명확히 제시되지 않았다.
• 투명 물체 외 반사(mirror) 표면이나 다중 투명-불투명 혼합 장면 등 더 복잡한 광학적 상황에 대한 확장 가능성은 추후 연구로 남아 있다.
• 후속 연구로 실제 로봇 매니퓰레이션 파이프라인에 직접 통합하여 폐루프(closed-loop) 성능을 검증하는 것이 필요해 보인다.

Evaluation

총평: 투명 물체 normal 추정이라는 실질적이고 어려운 문제에 대해 diffusion prior의 조건화 경로를 재해석하는 참신한 아이디어를 제시하고, 다수 벤치마크에서 뚜렷한 성능 개선과 함께 새로운 데이터셋까지 공개한 완성도 높은 연구이다.