LabProc and Tacit: Quantifying the Visual-Textual Prior Gap in Autonomous Laboratory Perception

Motivation

• Known: Frontier VLM(예: Claude Opus, GPT-5.5)은 샘플링된 프레임을 입력받아 실험실 절차의 상태를 인식하는 인식 모듈로 널리 채택되고 있으며, 언어 사전지식이 유효한 인식 과제에서 강력한 성능을 보인다는 것이 알려져 있다.
• Gap: VLM이 실험실 비디오, 특히 동일한 장비·동일한 명목 상태이지만 유체의 motion-state만 다른 경우(예: 끓고 있는 reflux vs 정착된 reflux)를 구분할 수 있는지에 대한 실증적 검증이 부재했으며, 언어 친화도 축(structural axis)을 따라 VLM의 성능 저하를 체계적으로 측정한 벤치마크가 없었다.
• Why: 자율 실험실 로봇 플랫폼이 다단계 절차(예: 유기 합성)를 안전하게 수행하려면 인식 모듈이 motion-state를 정확히 읽어야 하며, 이를 잘못 인식하면 시약을 조기에 주입하는 등 여러 날에 걸친 실험을 망칠 수 있으므로, 어떤 인식 백본이 이런 상황에 적합한지 규명하는 것은 실용적으로 중요하다.
• Approach: 단일 프레임 상태 인식부터 동일한 명목 상태를 공유하는 triplet anchor matching까지 언어 친화도가 감소하는 구조적 축을 따라 6개 과제를 설계하고, Claude Opus와 300M 파라미터의 도메인 적응 V-JEPA-2.1 encoder(Tacit)의 성능을 과제별로 비교한다.

Achievement

Figure 3. Tacit uplift over base V-JEPA-2.1 across LabProc tasks.

1. LabProc 벤치마크 공개: 241개의 4초 클립(38개 YouTube 소스 비디오)으로 구성된, 언어 친화도 축을 따라 정렬된 6개 과제(PSC, TED, CCR, VSD, TED-Visual, Same-State ordering) 벤치마크를 공개.
2. 구조적 축 그래디언트 발견: Claude Opus가 단일 프레임 상태 분류(PSC)에서 Tacit을 41점 앞서지만, motion-only인 TED-Visual Strict Hard 서브셋에서는 Tacit이 Claude를 9.1점(66.7% vs 57.6%) 앞서는 부호 반전을 관찰.
3. 저비용 도메인 적응 encoder Tacit 공개: 단일 H100에서 28분($1.30)의 continued pretraining만으로 base V-JEPA-2.1 대비 모든 과제에서 평균 +8.2점 향상을 달성.
4. 표현 학습의 근본적 긴장 규명: EMA target encoder와 motion-conditioned masking을 결합한 state-invariance objective가 within-state temporal physics를 붕괴시켜, Same-State CCR Kendall's tau가 base +0.048에서 릴리즈 체크포인트 -0.062로 하락함을 실증.

How

Figure 2. Tacit adaptation loss across 7 epochs. Monotonic de-

• 6개 과제를 언어 친화도 순으로 배열: PSC(단일 프레임 분류) → TED(전이 오류 탐지) → CCR(인과 체인 재구성) → VSD(시각적 상태 구분) → TED-Visual(모션 triplet 매칭) → Same-State ordering(동일 상태 내 순서 매기기)
• 데이터는 organic-purification(OP) 절차를 다루는 38개 공개 YouTube 영상에서 3단계 필터링 파이프라인(키워드 사전 필터, CLIP 의미 점수·모션 풍부도·변화 밀도 기반 자동 QC, AI-보조 인간 큐레이션)을 거쳐 수집
• 프레임별 4차원 밀집 라벨(물리적 상태 25-class, 물질 속성 ~40 tags, 액션 ~25 tags, 장비 ~50 tags)을 단일 어노테이터 AI-보조 방식으로 부여
• CCR 과제는 RankNet 스타일의 비대칭 점수 함수 score(A,B) = g(A) - g(B)로 순서를 평가하며 pairwise accuracy와 Kendall's tau를 보고
• Tacit은 V-JEPA-2.1을 기반으로 EMA target encoder와 motion-conditioned masking을 결합한 continued self-supervised pretraining으로 도메인 적응

Originality

• 실험실 절차 이해를 위한 벤치마크를 언어 친화도(구조적 축)라는 새로운 축으로 조직하여, 기존처럼 aggregate accuracy가 아닌 과제별 프로파일로 VLM과 vision-only encoder의 상대적 강점을 드러낸 점이 독창적
• 파라미터 수 ~1000배 차이에도 불구하고 특정 조건(motion-only, 동일 장비·동일 명목 상태)에서 소규모 도메인 적응 encoder가 frontier VLM을 능가함을 실증적으로 보인 최초의 사례
• 자기지도학습의 state-invariance objective(EMA+masking)가 오히려 within-state 시간적 물리 신호를 붕괴시킨다는 표현 학습상의 근본적 긴장을 정량 지표(Kendall's tau)로 명시적으로 드러낸 점

Limitation & Further Study

• LabProc v1은 organic-purification 절차만 다루는 241개 클립(38개 소스 비디오)으로 규모가 작고, PCR·Western blot 등 다른 절차군은 v2로 유예되어 일반화 가능성이 제한적
• 단일 어노테이터의 AI-보조 라벨링에 의존해 라벨 품질과 편향에 대한 독립적 검증이 부족할 수 있음
• Tacit의 state-invariance objective가 within-state temporal physics를 손상시키는 문제가 해결되지 않은 채로 공개되어, 후속 연구에서 EMA/masking 설계를 재고하거나 대안적 self-supervised objective를 탐색할 필요가 있음
• Claude Opus 등 상용 VLM과의 비교가 특정 버전(예: GPT-5.5) 및 프롬프트 설계에 종속적일 수 있어 다른 VLM이나 프롬프트 전략에서는 결과가 달라질 가능성

Evaluation

총평: 저비용·소규모 실험 세팅에서 명확한 실증적 결과와 함께 자율 실험실 인식 계층 설계에 실질적 시사점을 제공하는 훌륭한 벤치마크 및 분석 논문이며, 데이터 규모 확장과 self-supervised objective 개선이라는 명확한 후속 연구 방향도 제시한다.