$\text{P}^4$Bench: Contamination-Proof, Publicly Verifiable, and Privacy-Preserving LLM Evaluation via Zero-Knowledge Proofs

Motivation

• Known: 공개 benchmark(GSM8K, MATH, OlympiadBench 등)는 문제와 정답을 함께 공개해 투명성과 재현성을 제공하지만 data contamination에 취약하며, FrontierMath나 TRUCE 같은 private benchmark는 정답과 문제를 모두 비공개로 하여 오염을 줄이지만 제3자 organizer에 대한 신뢰가 필요해 투명성을 희생한다.
• Gap: 기존 접근법들(private benchmark, live benchmark, perturbed benchmark)은 오염 방지와 공개적 독립 검증 가능성(public verifiability) 사이의 trade-off를 해결하지 못했으며, 특히 정답을 공개하지 않으면서도 제3자 organizer 없이 커뮤니티가 직접 결과를 검증할 수 있는 방법이 부재하다.
• Why: 수학적 reasoning benchmark의 신뢰성은 LLM 발전을 이끄는 핵심 동력인데, 오염 문제로 인해 benchmark 점수의 유효성 자체가 위협받고 있으며, 이를 해결하면서 동시에 신뢰 기반 제3자 검증 없이도 결과를 공개적으로 검증 가능하게 만드는 것은 커뮤니티 신뢰도와 평가 지속가능성에 중요한 함의를 가진다.
• Approach: benchmark 문제는 공개하되 정답은 비공개로 유지하고, 모델 제공자가 정답이 공개된 checker 관계를 만족한다는 것을 zk-SNARK 기반 cryptographic proof로 제출하면 누구나 정답을 알지 못한 채 그 proof를 검증할 수 있도록 설계했다.

Achievement

Figure 1. Comparison of benchmark data flows and their intuitive interpretation. Public benchmarks expose answers togeth

1. P4Bench 프레임워크 제안: ZKP 기반으로 contamination-proof, publicly verifiable, privacy-preserving 세 가지 속성을 동시에 만족하는 benchmark 평가 프레임워크를 최초로 설계했다.
2. SAT/DLP 태스크 구현: Boolean satisfiability(SAT)와 discrete logarithm problem(DLP)에 대해 각각 500개의 controlled-difficulty 문제 인스턴스를 구성하고 zk-SNARK circuit으로 답안 검증을 인코딩하는 전체 파이프라인(문제 생성→LLM 평가→proof 생성→공개 검증)을 구현했다.
3. 프론티어 모델 평가: 7개의 frontier LLM(Qwen 3.5 Plus 등)을 대상으로 평가를 수행해 모델별, 난이도별 성능 차이를 효과적으로 구별할 수 있음을 보였다.
4. 실용성 입증: proof 생성과 검증이 실제 제출 시점에 실용적으로 수행 가능함을 실험적으로 확인해 ZKP 기반 공개 감사 가능 평가의 실현 가능성을 입증했다.

How

• 문제 유형별(SAT, DLP)로 공개 answer-checking relation을 정의하고 이를 zk-SNARK circuit으로 인코딩
• benchmark provider가 문제 인스턴스와 checker만 공개하고 정답은 비공개로 유지
• 모델 제공자가 로컬에서 문제를 풀고, 정답을 공개하지 않은 채 checker를 만족한다는 cryptographic proof만 제출
• 제출된 proof는 공개 checker를 이용해 누구나 검증 가능하며, GMW protocol과 유사한 방식으로 hidden 정보를 노출하지 않고 검증 수행
• 500개씩 controlled-difficulty SAT/DLP 인스턴스를 생성하고 7개 frontier 모델에 대해 평가 수행, proof 생성/검증 시간 등 실용성 지표 측정

Originality

• ZKP를 model inference 검증(zkLLM, NANOZK 등 기존 연구)이 아닌 benchmark integrity 문제에 적용한 최초의 시도로 보임
• 문제 공개-정답 비공개라는 새로운 조합을 통해 public benchmark와 private benchmark의 장점을 절충하는 설계 아이디어 제시
• SAT, DLP와 같이 검증이 명확한 NP 문제 구조를 zk-SNARK circuit으로 매핑하여 실용적 인스턴스화 수행

Limitation & Further Study

• SAT와 DLP처럼 정답 검증이 명확한 combinatorial/algebraic 문제에 한정되어 있어, 자연어 기반 open-ended 수학 reasoning(예: proof-writing)이나 자유형식 정답에는 직접 적용이 어려울 수 있음
• zk-SNARK circuit 설계와 proof 생성 비용이 문제 복잡도에 따라 확장성 문제를 가질 수 있으며, 더 복잡한 문제 유형(정수론, 조합론 등)으로 일반화 가능성에 대한 논의가 부족
• 7개 모델, 500개 인스턴스라는 상대적으로 제한된 규모의 실험으로, 대규모 benchmark 커뮤니티 채택 시의 운영/거버넌스 이슈(circuit 업데이트, 신규 문제 추가 등)에 대한 논의가 미흡
• 후속 연구로는 자연어 수학 문제에 대한 answer-checking relation을 어떻게 공개적이고 검증 가능하게 정의할지, 그리고 proof 생성 비용을 낮추는 최적화 방향이 필요해 보임

Evaluation

총평: contamination과 투명성 사이의 오래된 trade-off를 zero-knowledge proofs라는 암호학적 도구로 새롭게 접근한 참신하고 시의적절한 연구이나, SAT/DLP를 넘어 실제 자연어 수학 reasoning benchmark로의 확장 가능성 검증이 향후 중요한 과제로 남아있다.