AgriPerceiver: A Parameter-Efficient Vision-Language Model for Structured Macroscopic Crop Phenotyping

Motivation

• Known: Generalist VLM(LLaVA, InternVL2, Qwen2-VL 등)은 visual QA와 captioning에서 강력한 성능을 보이며, Perceiver와 Flamingo Resampler 같은 압축 아키텍처와 LoRA 같은 parameter-efficient fine-tuning 기법이 고해상도 시각 인식과 구조화된 언어 생성을 잇는 이론적 틀을 제공한다는 것이 알려져 있다.
• Gap: 기존 연구는 PlantVillage처럼 scalar 단일 라벨 분류에 머물러 있거나, BioMedCLIP 등 분자 수준 FMLS에 집중되어 macroscopic 농업 병리학은 상대적으로 소외되어 있으며, 고해상도 tiling을 활용하는 모델(InternVL2 등)도 미세 병변에 대한 특화된 공간 grounding을 충분히 탐구하지 않았다.
• Why: 작물 병원체는 전 세계 수확량 손실의 20-40%를 차지하는 고영향 문제이며, 저비용 컴퓨팅 환경에서도 구조화된 진단 리포트를 자동 생성할 수 있는 parameter-efficient VLM은 농업 생명과학 AI의 확장성 위기를 해결하는 데 중요하다.
• Approach: 본 연구는 이 문제를 구조화된 리포트 생성 문제로 재정의하고, frozen vision/language backbone과 trainable perception bridge, 그리고 두 단계 학습 커리큘럼(bridge alignment → LoRA specialization)을 통해 parameter-efficient한 방식으로 해결한다.

Achievement

Figure 2. Training loss curves. Left: Stage-1 alignment (bridge

1. Perception bridge 설계: AnyRes spatial tiling, learned tile-position embeddings, MLP projector, 2-block Perceiver Resampler를 결합해 3,645개 visual token을 128개 latent로 28.5배 압축하면서도 미세 병리학적 특징의 공간적 충실도를 유지했다.
2. Parameter-efficient 학습: 약 4.22B 파라미터의 frozen backbone을 유지한 채, 전체 4.6B 중 약 9%(약 426M)만 학습하는 two-stage curriculum(Stage1 bridge alignment, Stage2 LoRA specialization)으로 자원 효율적 도메인 특화를 달성했다.
3. 자동화된 데이터 파이프라인 및 평가 프레임워크: Gemma-3-12B-IT를 활용해 117K 농업 이미지를 7개 필드의 schema-compliant JSON으로 라벨링하고, 5개 품질 차원에 걸친 9개 지표로 종합 평가하여 composite score 0.810과 99.7% schema compliance를 held-out test set에서 달성했다.

How

Figure 1. AgriPerceiver architecture. (1) Tiling: The input is decomposed into 5 AnyRes tiles, capturing both global con

• 입력 leaf 이미지를 5개 tile(4개 quadrant + 1개 global)로 AnyRes 분해 후 각각 384×384로 리사이즈하여 frozen SigLIP-SO400M으로 patch feature 추출
• learned tile embedding E를 각 patch에 broadcast-add하여 spatial identity 부여
• 2-layer MLP(GELU)로 SigLIP feature를 LLM 차원(3072)으로 projection
• N=128 learned latent query가 D=2 PerceiverBlock(cross-attention, self-attention, GLU-FFN, RMSNorm, residual)을 통해 3645개 토큰을 128개로 압축
• splice-and-forward 방식으로 압축된 latent를 텍스트 프롬프트의 <image> placeholder 자리에 삽입해 Phi-3-mini-128k(LoRA adapter 포함) 언어모델에 전달
• Stage 1: bridge(~391M)만 학습하며 image-caption pair로 정렬, Stage 2: frozen backbone 유지한 채 LoRA로 구조화된 JSON 어노테이션에 특화 학습

Originality

• 농업 병리학 도메인에 특화된 macroscopic phenotyping을 구조화된 JSON report generation 문제로 재정의한 프레이밍이 참신함
• Perceiver Resampler에 learned tile-position embedding을 결합하여 spatial grounding을 유지하면서 극단적 토큰 압축(28.5배)을 달성한 perception bridge 설계
• 두 backbone을 완전히 frozen 상태로 유지하고 bridge와 LoRA만 학습시키는 two-stage curriculum을 통한 parameter efficiency 극대화
• Gemma-3 기반 자동 라벨링 파이프라인과 5차원 9지표 평가 프레임워크를 결합한 체계적 벤치마킹

Limitation & Further Study

• 초록과 발췌 본문만으로는 9개 평가지표의 세부 정의, baseline 비교(범용 VLM 대비 성능 격차) 및 통계적 유의성 검증이 명확히 제시되지 않아 실질적 우수성 판단이 제한적임
• Gemma-3-12B-IT로 자동 생성된 라벨에 의존하므로, 라벨 자체의 오류나 편향이 학습 데이터 품질과 최종 진단 신뢰도에 영향을 줄 수 있음
• 단일 leaf 이미지 기반 진단으로 한정되어 있어 다양한 작물종, 환경조건, 복합 감염 등 실제 농업 현장의 다양성에 대한 일반화 검증이 추가로 필요함
• 후속 연구로는 human expert 검증 기반 라벨, 다양한 작물·질병에 대한 cross-domain 평가, 그리고 실제 배포 환경에서의 latency/throughput 분석이 요구됨

Evaluation

총평: 농업 병리학이라는 실용적이고 임팩트 있는 도메인에 parameter-efficient VLM 어댑테이션을 적용한 시도로서 구조화된 결과물과 명확한 아키텍처 기여가 돋보이나, 초록 수준의 평가 지표 상세 및 baseline 비교가 부족해 완전한 검증을 위해서는 전체 논문의 실험 섹션 확인이 필요하다.