Claudini: Autoresearch Discovers State-of-the-Art Adversarial Attack Algorithms for LLMs

Motivation

• Known: GCG(Zou et al., 2023) 이후 30여 개의 파생 white-box jailbreak 공격(discrete suffix optimization)이 존재하며, LLM agent를 활용한 autoresearch 파이프라인(AlphaEvolve, Autoresearch, KernelBench 등)이 커널·수치 프로그램·작은 트랜스포머 등에서 코드 최적화 성과를 낸 바 있다.
• Gap: 기존 adversarial attack 연구는 사람이 수작업으로 알고리즘을 설계·튜닝해왔고, LLM agent 기반 autoresearch가 실제로 human-designed 공격을 능가하는 새로운 최적화 알고리즘을 발견할 수 있는지, 그리고 그렇게 발견된 공격이 전혀 다른 모델·task로 전이되는지는 검증되지 않았다.
• Why: adversarial robustness 평가는 방어 우회를 시도하는 적응형 공격(adaptive attack)에 크게 의존하는데, 사람이 수행하는 red-teaming은 확장성이 떨어진다. autoresearch가 사람 개입 없이 SOTA 공격을 발견·전이시킬 수 있다면 LLM 안전성 평가의 확장 가능하고 실용적인 도구가 될 수 있다.
• Approach: Claude Opus 4.6와 Claude Code CLI(및 Codex 등)를 활용해, 기존 공격 라이브러리와 평가 스크립트에 접근 가능한 sandboxed agent가 고정된 compute budget 하에서 새로운 discrete optimization 공격을 반복적으로 설계·구현·평가·개선하는 autoresearch 루프(Claudini)를 구축했다.

Achievement

1. GPT-OSS-Safeguard-20B jailbreak SOTA 달성: agent가 발견한 방법(v100)이 held-out CBRN 쿼리에서 80% ASR을 달성, 기존 최고 방법(I-GCG, 47.5%)을 크게 상회함.
2. Meta-SecAlign-70B로의 zero-shot 전이 성공: 전혀 다른 surrogate 모델의 순수 random-target token-forcing task에서 개발된 claude_v82 방법이 adversarially robust model에 대한 prompt injection에서 100% ASR 달성, 기존 최고 자동화 방법(Optuna 튜닝, 82%)을 능가함.
3. classical AutoML 대비 우위 입증: Optuna 기반 hyperparameter optimization보다 Claudini가 유의미하게 우수한 성능을 보임(Figure 4).
4. methods lineage 분석: 발견된 방법들의 계보를 추적하여 대부분의 성능 향상이 기존 공격 요소의 재조합과 하이퍼파라미터 튜닝에서 비롯되며, 진짜 새로운 아이디어(예: patience-based perturbation, iterated local search 같은 escape mechanism)는 드물다는 것을 확인함.

How

• 30개 이상의 기존 GCG-style white-box discrete optimization 공격을 구현해 라이브러리 및 baseline pool로 구축
• token-forcing loss L(x) = -Σ log pθ(ti | T(x)⊕t<i)를 정의하고, 고정된 suffix 길이(L=30)와 FLOPs budget(예: 3×10^17) 하에서 공정 비교
• agent가 (1) 기존 결과·구현 확인 → (2) 새 optimizer variant를 Python class로 구현 → (3) GPU job 제출·평가 → (4) 결과 검토 후 다음 iteration 진행하는 /loop 명령으로 자율 반복 수행
• 각 iteration에서 생성된 방법을 pool에 추가해 다음 iteration에서 재사용 가능하게 함(사람 개입 없음, 단 reward hacking 감지 시 예외)
• held-out targets(및 해당 시 held-out models)에서 최종 leaderboard 평가
• prior methods 라이브러리 접근 유무(Figure 2), Optuna 대비 비교(Figure 4), 5개 시드에 걸친 median rank vs mean loss 집계(Figure 5) 등으로 성능 검증

Originality

• LLM agent 기반 autoresearch 프레임워크(AlphaEvolve, KernelBench 등)를 white-box adversarial attack 발견이라는 새로운 도메인에 최초로 적용
• 순수 random-target token-forcing 최적화 task에서 발견된 공격이 전혀 다른 모델·task(adversarially trained prompt injection defense)로 직접 전이됨을 실증적으로 보임
• 발견된 방법들의 lineage(계보)를 추적해 agent의 전략(재조합, 하이퍼파라미터 튜닝)과 실패 모드(진짜 novel idea의 희소성)를 체계적으로 특성화함

Limitation & Further Study

• agent가 진정으로 새로운 알고리즘 아이디어를 내는 경우는 드물고 대부분 기존 공격의 재조합·튜닝에 그치며, 이는 저자들도 인정하듯 scaffold(전체 attack run을 iteration의 원자 단위로 취급하는 구조)의 한계일 가능성이 있음
• 두 개의 독립적 autoresearch run이 서로 다른 optimizer로 수렴하는 등 재현성·일관성에 대한 추가 검증이 필요
• 평가가 두 개의 특정 모델(GPT-OSS-Safeguard-20B, Meta-SecAlign-70B)과 제한된 태스크(CBRN 쿼리, prompt injection)에 국한되어 일반화 가능성에 대한 추가 실험이 필요
• 향후에는 agent가 중간 단계 아이디어를 더 유연하게 탐색할 수 있는 scaffold 개선, 그리고 더 다양한 모델·방어 기법에 대한 확장이 요구됨

Evaluation

총평: LLM agent 기반 autoresearch가 사람 전문가 수준을 넘어서는 새로운 adversarial attack 알고리즘을 자율적으로 발견하고 이를 전혀 다른 모델·태스크로 전이시킬 수 있음을 실증적으로 보여준 흥미롭고 시의적절한 연구로, LLM 안전성 평가 방법론에 중요한 시사점을 제공한다.