TreeAgent: A Generalizable Multi-Agent Framework for Automated Bias Labeling in Forestry via Compiled Expert Rules and Vision-Language Models

Motivation

• Known: 전문가 라벨링 데이터는 ML의 참조 어노테이션(reference annotation)으로 널리 쓰이지만 전문가 간 변동성이 크고, 특히 산림 원격탐사에서 나무 높이 편향 분류와 같은 작업은 전문가 1인당 3-5분이 소요되어 대규모 확장이 어렵다는 점이 알려져 있다. 또한 tabular ML(gradient-boosted trees, tabular foundation model 등)이 소규모 정형 데이터 라벨링 작업에서 여전히 지배적인 baseline으로 사용된다.
• Gap: 기존에는 LLM이 전문가 규칙을 프롬프트로부터 암묵적으로 내재화하기를 기대하거나, symbolic classifier로 규칙을 코드에 하드코딩하여 도메인 로직과 구현이 강결합되므로, 규칙(threshold, taxonomy)이 바뀔 때마다 재엔지니어링이 필요한 문제가 있었다. 또한 산림 분야에서 나무 단위 편향-원인(bias-source) 분류를 대규모로 시도한 선행연구가 없었다.
• Why: 탄소 회계, 바이오매스 추정, 기후 정책 등이 의존하는 나무 높이 데이터의 편향을 대규모로 교정하려면 확장 가능하고 해석 가능한(interpretable) 자동 라벨링이 필수적이며, 이는 전문가 판단이 구조화되어 있으면서도 지속적으로 진화하고 때때로 지각적 판단이 필요한 다양한 과학적 라벨링 워크플로우 전반에 일반화 가능한 해법을 제공하기 때문에 중요하다.
• Approach: 전문가 규칙과 결정 구조를 코드 변경 없이 실행 가능한 형태로 컴파일하는 Decoupled Declarative Decision (D3) Framework를 제안하고, 이를 나무 편향 7-클래스 진단에 인스턴스화한 TreeAgent를 통해 결정 트리의 지각적 노드는 다수결 투표(majority-vote) VLM 에이전트가, 수치 노드는 결정론적(deterministic) 계산이 처리하도록 오케스트레이션한다.

Achievement

Figure 1. Overview of the D3 Framework. The architecture decouples domain-specific logic through a fixed Logic Primitive

1. 성능 우위: NEON 두 개 held-out 사이트에서 TreeAgent가 67.6% Macro-F1, 나무당 약 0.040분을 달성하여, 광범위한 feature engineering, 불균형 보정(imbalance correction), tabular foundation model 대체까지 거친 튜닝된 tabular ML baseline(36.2% Macro-F1)을 크게 능가함.
2. 효율성: 전문가 라벨링 시간(나무당 3-5분) 대비 대폭 단축된 어노테이션 비용으로 해석 가능성을 유지하면서 전문가 정의 라벨링 절차를 재현.
3. 일반화 가능성 검증: 서로 다른 전문가 전략(ρA, ρB)이 동일한 오케스트레이터 및 VLM 에이전트 코드 변경 없이 상이한 실행 가능 트리 구조로 컴파일됨을 보여, zero-modification generalizability를 입증.

How

Figure 2. The VLM agent. Each VLM node receives a node-

• Logic Primitive Inventory (LPI): det(결정론적 산술), vlm(시각-언어 판단), exit(클래스 라벨 반환)의 세 실행 타입으로 분할된 고정·유한한 노드 클래스 집합 V를 정의하고, 각 노드를 (id, ω, ε, ϑ) 튜플로 형식화.
• Tree configuration T: 노드와 이진 결과에 대한 후속 노드를 매핑하는 edge relation E를 가진 방향성 비순환 그래프(DAG)로 정의하며, completeness와 vocabulary closure의 두 가지 well-formedness 조건을 검증기(validator)로 강제.
• Neural Rule Transpiler (NRT): 구조화된 자연어 전문가 규칙 ρ를 단일 추론 호출(single inference call)로 LLM(Cθ)이 V의 전체 어휘와 T의 JSON 스키마를 프롬프트로 받아 JSON 직렬화된 tree configuration으로 컴파일하며, O(|N|) 시간에 클래스 소속을 검증하여 구조적으로 유효한 트리만 오케스트레이터에서 실행되도록 보장.
• VLM Agent: vlm 노드에서 point-cloud 또는 CHM 이미지를 대상으로 자연어 프롬프트를 질의하고, 다수결 투표(majority voting)로 VLM의 확률적 변동성(stochasticity)을 완화.
• 평가: NEON Airborne Observation Platform의 두 held-out 사이트 전문가-라벨 나무 데이터에서 tuned tabular ML baseline(gradient-boosted trees, 불균형 보정, transductive adaptation, tabular foundation model 포함)과 Macro-F1 및 나무당 처리 시간을 비교.

Originality

• 전문가 결정 트리를 구조적 사전지식(structural prior)으로, VLM을 지각적 판단 모듈로 분리하여 결합한 multi-agent orchestration 설계가 참신함.
• symbolic rule을 코드에 하드코딩하지 않고, "무엇을 결정할지"와 "어떻게 실행할지"를 분리하는 D3 framework(LPI + NRT)를 통해 규칙 변경을 코드 수정이 아닌 설정 편집으로 축소한 점.
• 고정된 유한 어휘(closed vocabulary) 기반의 정적 검증 가능한 실행 그래프를 LLM이 컴파일하도록 하여, 여러 전문가의 서로 다른 진단 전략에 대해 zero-modification generalization을 실증적으로 보인 점.

Limitation & Further Study

• 평가가 산림 원격탐사의 7-클래스 나무 편향 분류라는 단일 도메인·단일 태스크에 국한되어, 다른 과학적 라벨링 워크플로우로의 일반화는 추가 검증이 필요함.
• NRT의 컴파일 정확도(전문가 규칙을 얼마나 충실히 트리로 변환하는지)에 대한 정량적 오류 분석이 발췌 부분에는 부재하여, 컴파일 오류가 하위 분류 성능에 미치는 영향이 불명확함.
• VLM 다수결 투표의 계산 비용(추론 호출 수) 대비 정확도 트레이드오프, 그리고 VLM 모델 종류에 따른 민감도 분석이 제한적으로 보임.
• 두 개의 held-out NEON 사이트만으로 평가되어 지리적·수종 다양성에 따른 강건성(robustness) 검증이 더 필요함.

Evaluation

총평: 전문가 규칙과 VLM 지각 능력을 구조적으로 분리·결합하는 D3 framework와 TreeAgent는 해석 가능성과 확장성을 동시에 확보한 실용적이고 참신한 접근이며, 산림 편향 라벨링을 넘어 다양한 전문가 주도 과학 라벨링 작업에 적용 가능한 일반적 방법론으로서 의의가 크다.