LERF: Language Embedded Radiance Fields

Motivation

• Known: NeRF는 사실적인 3D 장면 재구성에 효과적이지만 의미 정보가 부족하며, CLIP은 강력한 시각-언어 모델이지만 2D에만 적용된다. 기존 2D 오픈 어휘 감지 방법은 마스크 제안이나 세분화 데이터셋을 필요로 한다.
• Gap: 3D 장면에서 마스크나 지역 제안 없이 직접적으로 CLIP 임베딩을 밀집하게 정합하는 방법이 부재했으며, 다중 스케일 계층적 언어 쿼리를 지원하는 3D 언어 필드가 없었다.
• Why: 자연어는 3D 장면과 상호작용하는 직관적인 인터페이스이며, 이는 로봇공학, 시각-언어 모델 이해, 3D 장면 상호작용 등 다양한 응용 분야에서 실용적 가치가 크다.
• Approach: NeRF 최적화 과정에서 위치와 물리적 스케일을 입력으로 하는 언어 필드를 함께 학습하며, 다중 스케일 특성 피라미드를 통해 다양한 스케일의 CLIP 임베딩을 감독한다. DINO 특성으로 정규화하여 최적화된 언어 필드의 매끄러움을 보장한다.

Achievement

Figure 3: Results with LERF for 5 in-the-wild scenes. Each image shows a visual rendering of the LERF (Sec. 3), along wi

• 제로샷 다중 스케일 쿼리: 마스크나 지역 제안 없이 픽셀 정렬 방식으로 시각적 속성, 추상 개념, 장기 꼬리 객체, 텍스트 등 광범위한 자연어 쿼리를 지원
• 3D 일관성: 다중 뷰의 CLIP 임베딩을 평균화하여 2D CLIP보다 더 국소화되고 3D 일관성 있는 관련성 맵 생성
• 효율적 최적화: 기본 NeRF 구현을 크게 지연시키지 않으면서 훈련 가능하며, 최적화 후 실시간 쿼리 응답 제공
• 넓은 적용성: 로봇공학, 시각-언어 모델 분석, 3D 장면 상호작용 등 다양한 응용 분야에 활용 가능

How

Figure 2: LERF Optimization: Left: LERF represents a field of 3D volumes, parameterized by position x, y, z and scale s (

• NeRF의 부피 렌더링 프레임워크를 확장하여 위치(x, y, z)와 스케일(s)을 입력으로 하는 언어 필드 네트워크 학습
• 훈련 뷰의 이미지 패치에서 다중 스케일 CLIP 특성 피라미드 사전 계산
• 훈련 중 사영 기하학으로 물리적 스케일을 이미지 스케일에 매핑하여 다중 스케일 감독 신호 생성
• CLIP 코사인 유사성 손실과 DINO 특성 정규화를 결합하여 최적화
• 테스트 시간에 언어 필드를 임의의 스케일에서 쿼리하여 3D 관련성 맵 추출

Originality

• NeRF에 CLIP 임베딩을 직접 정합하되 마스크나 지역 제안을 필요로 하지 않는 새로운 접근
• 다중 스케일 특성 피라미드를 통해 동일 3D 위치에서 서로 다른 스케일의 언어 의미를 학습하는 독창적 방법
• 사영 기하학을 이용한 물리적 스케일과 이미지 스케일의 매핑으로 밀집 언어 필드 생성
• DINO 특성을 공유 병목으로 통합하여 언어 필드의 기하학적 일관성 강화

Limitation & Further Study

• 다중 뷰 일관성을 보장하기 위해 여러 훈련 뷰가 필요하므로 데이터 요구량이 높을 수 있음
• CLIP의 한계를 상속받아 특정 시각적 세부사항이나 극단적 스케일에서 표현 능력 제한 가능
• 손잡이 기반 캡처 데이터로만 평가하였으므로 대규모 실내외 장면에서의 확장성 미정
• 정량적 평가가 LSeg 3D 증류 및 OWL-ViT 렌더링 쿼리에 제한되어 더 광범위한 벤치마크 필요
• 후속 연구: 더 효율적인 데이터 수집 방법, 동적 장면 지원, 실시간 증분 학습, 다국어 쿼리 지원

Evaluation

총평: LERF는 NeRF와 CLIP을 창의적으로 결합하여 3D 장면의 밀집 자연어 쿼리를 실현한 우수한 논문이다. 다중 스케일 언어 필드, 마스크 비의존 설계, 실시간 성능은 실용적 가치가 크며, 로봇공학 및 3D UI 분야에서 즉각적인 영향을 미칠 수 있다.