LCIA Self-Play: The London Court of International Arbitration as a Benchmark for Verifiable Self-Evolving Scientific Agents

Motivation

• Known: 기존의 self-evolving agent 평가는 훈련 기록을 직접 관측할 수 있고 정답을 바로 검증할 수 있는 환경(수학 문제, 코드 생성 등)에서 이루어져 왔으며, capability erosion, 런타임 메모리, test-time self-improvement, agentic tree search, reflective learning 등이 연구되어 왔다.
• Gap: 많은 과학적·제도적 환경에서는 선택적으로 공개된 흔적만 노출되고, 전략적 행위자가 존재하며, 형식적 admissibility 제약이 부과되는데, 기존 벤치마크는 이런 조건(비무작위 공개, 전략적 상호작용, 절차적 적법성 게이트)을 동시에 포착하지 못한다.
• Why: 공개 기록만으로 학습한 모델은 "공개될" 확률에 조건화된 분포를 학습할 뿐 실제 숨겨진 의사결정 과정을 학습하지 못하므로, 이런 실패 양상을 재현 가능하게 스트레스 테스트할 벤치마크가 과학 에이전트의 신뢰성 확보에 중요하다.
• Approach: LCIA 중재 절차를 POMDP/Bayesian game으로 정식화하고, hidden-type에 대한 belief 업데이트와 절차적 행동에 대한 결정론적 legality gate(verifier)를 결합한 합성 벤치마크를 설계하며, self-play, episodic memory, capability-preserving rehearsal을 통해 에이전트가 진화하도록 한다.

Achievement

1. 벤치마크 정식화: LCIA 절차를 ELCIA = ⟨S, A, T, R, Ω, O, Θ, C, V⟩로 수학적으로 공식화한 POMDP/Bayesian-game 벤치마크를 제시했다.
2. Verifier-gated 정책 인터페이스: belief, admissible action, mixed policy, exploitability, failure certificate를 포함하는 "strategy card"를 반환하는 정책 인터페이스를 정의했다.
3. 세 가지 재현 가능한 실험: 공개 슬라이스 과적합, self-play robustness, capability-preserving evolution을 분리하여 검증하는 실험을 12개의 사전 지정된 seed에 걸쳐 수행했다.
4. 정량적 결과: 공개 슬라이스 지도학습은 순위 신호는 보존하지만 hidden population에서 심하게 miscalibration되었고(Brier 0.238~0.254, ECE 0.017~0.120), verifier-gated self-play는 public-greedy 대비 worst-hidden-type value를 크게 향상시켰으며(0.626 vs 0.510) invalid-action mass가 0이었고, memory replay는 recent-only 적응 대비 retained old-family value를 개선했다(0.685 vs 0.656).
5. 완전한 재현성 아티팩트: 코드, 사전 지정 seed, 생성 데이터, figure, 재현성 메타데이터를 모두 공개했다.

How

• 환경을 procedural state S, action set A(settlement, early determination, consolidation, disclosure 등 9개 전략), hidden type Θ(efficiency, due process, confidentiality, cost sensitivity, interventionism 5개), 결정론적 admissibility verifier V로 구성
• belief state를 bt+1(θ) ∝ O(ot+1|st,at,θ)T(st+1|st,at,θ)bt(θ)로 베이지안 업데이트
• Algorithm 1(Verifier-gated self-play update)에서 regret matching으로 admissible action 집합 위에서 mixed strategy를 계산하고, counterfactual value로 regret을 업데이트, episodic memory에 저장, capability-preserving rehearsal을 적용
• Public-slice learner, greedy/posterior/particle-belief/Dirichlet-robust/maximin/oracle/regret-matching planner 등 다양한 에이전트 계열을 비교
• 12개 사전 지정 seed(12345부터 시작)에 걸쳐 각 seed마다 5,000개 훈련 matter와 3,000개 테스트 matter를 생성하여 실험 반복

Originality

• 법률·제도적 도메인(LCIA 국제중재)의 confidentiality, joinder, emergency relief 등 실제 절차적 특징을 부분관측 게임과 legality gate로 추상화한 최초의 합성 벤치마크 설계
• 자기진화형 에이전트 평가에 calibration, public-slice overfitting, hidden-type robustness, exploitability, violation probability, retention이라는 여섯 축을 통합적으로 도입
• 정답을 직접 반환하는 대신 belief, admissible action, mixed policy, exploitability, failure certificate를 포함하는 "strategy card"라는 검증 가능한 출력 형식을 제안
• LegalBench, LEXTREME 등 기존 법률 AI 벤치마크가 다루는 "법적 추론 정확도"가 아니라 "공개 데이터의 대표성 결여"라는 별개의 실패 양상을 표적으로 함

Limitation & Further Study

• 벤치마크가 전적으로 합성 데이터로 구성되어 있어 실제 LCIA 중재 사건의 복잡성, 언어적 뉘앙스, 실제 판례의 통계적 특성을 반영하지 못할 가능성이 있다
• 9개 행동, 5개 hidden type, 소수의 절차적 전제조건으로 이루어진 legality gate는 의도적으로 단순화되어 실제 법적 절차의 풍부함을 크게 축소한 것이므로 일반화 가능성에 한계가 있다
• LLM 기반 실제 에이전트(예: LLM 기반 self-evolving agent)에 대한 실증 평가 없이 규칙 기반/게임이론적 planner 비교에 그쳐, 실제 대형 언어모델 에이전트에서의 재현성과 전이 가능성은 후속 연구가 필요하다
• missing-not-at-random 공개 메커니즘의 구체적 함수 형태나 hidden type의 사전 분포 설계가 실제 제도적 편향을 얼마나 충실히 반영하는지에 대한 검증이 부족하다

Evaluation

총평: 법률 제도의 confidentiality와 절차적 제약을 부분관측 게임으로 정식화하여 self-evolving agent의 새로운 실패 양상(공개 슬라이스 편향)을 드러내는 참신하고 잘 설계된 재현 가능한 스트레스 테스트이나, 합성 데이터 기반의 개념 증명 수준이라 실제 응용으로의 확장성은 추가 검증이 필요하다.