Accelerating Hyperparameter Tuning for YOLO-Based Endangered Sea Turtle Classification via an LLM-Agent Recommendation

Motivation

• Known: YOLO 계열 모델의 기본 하이퍼파라미터는 COCO와 같은 범용 벤치마크에 맞춰 보정되어 있어 세분화된 생태 데이터셋에는 종종 최적이 아니며, grid/random/Bayesian/genetic 등의 전통적 HPO 방법이 이를 개선하기 위해 사용되지만 후보마다 전체 학습을 재수행해야 해 수백~수천 GPU 시간이 소요된다.
• Gap: 기존 HPO 연구들은 YOLO 대상 탐색 비용의 규모(수백~수천 시간)를 보고하지만 실제 wall-clock 비용을 명시적으로 측정한 경우는 드물고, 검색 기반 접근을 대체할 만한 저비용·재현 가능한 대안이 부재하다.
• Why: 딥러닝 엔지니어링에 익숙하지 않은 생태학자나 보전 연구자도 별도의 하이퍼파라미터 탐색 없이 공식 기본값 대비 유의미한 탐지 성능 향상을 얻을 수 있게 하며, 멸종위기 바다거북 모니터링과 같은 실용적 생태 응용에 즉시 적용 가능한 시간 및 자원 절감 방법을 제공한다.
• Approach: 과제 설명, 데이터셋 특성, 목표 모델 변형을 입력으로 받아 LLM 기반 연구 에이전트가 500편 이상의 논문을 조사하여 단일 하이퍼파라미터 설정을 1시간 이내에 추천하는 13단계 프롬프트 기반 워크플로우를 설계하고, 이를 검색 기반 반복 학습 없이 단 한 번의 학습으로 검증한다.

Achievement

1. mAP 향상: v8x, v9e, v10x, 11x, 12x, 26x 여섯 개 YOLO 변형에서 Ultralytics 기본값 대비 평균 mAP@0.5 +0.089 향상을 달성했으며, 이는 동일 계열 내 어떤 아키텍처 업그레이드보다 큰 개선폭이다.
2. 시간 단축: 모델당 추천 생성이 18~42분 내에 완료되어, 선행 연구에서 보고된 YOLO HPO 대비 wall-clock 비용의 99% 이상을 절감했다.
3. 재현 가능한 공개 자료: 13단계 프롬프트 전체, 추천된 구성, 검증 스크립트를 공개하여 다른 실무자가 원하는 LLM 기반 연구 에이전트로 방법론을 재현하거나 응용할 수 있게 했다.

How

• 7종 바다거북(총 1,627장, 64/16/20 train/val/test 분할, 12.4:1 클래스 불균형) 데이터셋에 Albumentations 및 Mosaic Augmentation을 적용
• YOLOv8x, v9e, v10x, 11x, 12x, 26x를 COCO 사전학습 가중치로 초기화 후 동일 워크스테이션(단일 RTX A5000 GPU)에서 파인튜닝
• Nexus Science 에이전트(OpenClaude 기반, GLM-5.1 추론 백본, 과학적 harness engineering 계층 포함)에 과제 설명, 하드웨어 제약, 목표 아키텍처를 포함한 구조화된 프롬프트를 입력해 500편 이상의 논문을 서베이하고 파라미터별 근거와 예측 mAP 개선치를 포함한 단일 추천 구성 산출
• 기본값과 추천 구성 각각으로 학습한 모델의 mAP@0.5를 비교하고, 추천 생성부터 학습 완료까지의 wall-clock 시간을 별도로 기록하여 Baek et al. (2026)의 300회 반복 random search(1,379시간, 동일 워크스테이션) 대비 상대적 시간 절감을 order-of-magnitude 수준으로 비교

Originality

• 전통적인 검색 기반 HPO의 반복 학습 루프를 LLM 에이전트의 문헌 기반 one-shot 추천으로 완전히 대체하는 새로운 워크플로우 제시
• 특정 에이전트에 국한되지 않고 다른 LLM 기반 연구 에이전트로도 재현·적용 가능하도록 13단계 프롬프트 구조를 공개
• 멸종위기 해양생물 종 분류라는 실제 보전 응용 맥락에서 여러 YOLO 세대(v8~v26)에 걸쳐 방법을 체계적으로 벤치마킹

Limitation & Further Study

• 단일 데이터셋(7종 바다거북)과 단일 하드웨어 환경에서만 검증되어 일반화 가능성이 제한적이며, 다른 도메인·태스크로의 확장 검증이 필요
• Baek et al. (2026)의 HPO wall-clock 비교가 다른 데이터셋을 사용한 간접 비교(order-of-magnitude)에 그쳐 엄밀한 head-to-head 벤치마크가 아님
• LLM 에이전트의 추천 품질이 문헌의 질과 양, 에이전트 백본 성능에 의존하므로, 최신 아키텍처나 문헌이 부족한 태스크에서는 성능이 보장되지 않을 수 있음
• 후속 연구로 다양한 태스크·모델 계열·에이전트 백본에 대한 폭넓은 검증과, 에이전트 추천의 불확실성(신뢰도) 정량화가 필요

Evaluation

총평: 검색 기반 HPO를 LLM 문헌 조사 기반 one-shot 추천으로 대체한다는 아이디어는 실용적이고 시의적절하며, 실제 보전생물학 응용에서 상당한 시간 절감과 성능 향상을 보여준 점이 인상적이다. 다만 단일 데이터셋·간접적 시간 비교에 의존하고 있어 일반화 가능성에 대한 추가 검증이 필요하다.