CADEngBench: Can AI Systems Co-Author Engineering Designs? A Hierarchical Benchmark for Physics-Verified Parametric CAD Generation

Motivation

• Known: 기존 CAD 생성 평가(HumanEval, LiveCodeBench, SWE-bench류 벤치마크 및 CAD-Coder 등 text-to-CAD 연구)는 주로 코드 실행 가능성, 명령/파라미터 정확도, 렌더링 가능성, 시각적 유사도 또는 geometric reward를 기준으로 모델을 평가해왔다.
• Gap: 이러한 기존 지표들은 생성된 CAD 프로그램이 프롬프트에 명시된 치수와 관계를 파라미터 변경(perturbation) 시에도 유지하는지, 그리고 실제 물리적 타당성을 만족하는지를 검증하지 못한다는 평가 공백이 존재한다. 즉 실행 가능한 코드가 곧 재사용 가능하고 물리적으로 유효한(engineering-grade) CAD임을 보장하지 않는다.
• Why: AI 시스템이 엔지니어링 설계의 공동 저자(co-author)로 기능하려면 단순히 실행되는 지오메트리를 생성하는 것을 넘어, 파라미터 편집에 강건하고 물리 법칙을 만족하는 재사용 가능한 파라메트릭 모델을 생성해야 하는데, 이를 체계적으로 검증할 벤치마크가 부재했다.
• Approach: 각 오브젝트를 프롬프트 변형(3단계), 구조화된 사양, 제약 계약(constraint contract), 실행 가능한 ground-truth CadQuery로 구성된 "object contract"로 패키징하고, L0~L3의 4계층 평가자(hierarchical evaluator)로 생성된 스크립트를 컴파일 가능성부터 물리 검증까지 순차적으로 검증한다.

Achievement

Figure 3. Layer profile across the full benchmark.

1. CADEngBench 데이터셋 구축: 12개 엔지니어링 도메인, 17개 물리 태그, 3단계 난이도를 포괄하는 40개 CadQuery 과제를 프롬프트·메타데이터·제약·ground-truth 아티팩트와 함께 제공.
2. 계층적 평가자(hierarchical evaluator) 설계: 컴파일/위상(L0), 기하 충실도(L1), perturbation robustness와 Z3 SMT 검증을 포함한 파라메트릭 무결성(L2), 닫힌형 물리 검증(L3)을 분리하여 평가.
3. specialist-generalist inversion 발견: 5개 모델(GPT-5.1, Claude Sonnet 4.6, Gemini 2.5 Pro, Qwen3 Coder 30B A3B, CADCoder) 비교에서 CADCoder가 L0에서는 39/40으로 최고 성능이나 L2/전체에서는 최하위(2/40, 1/40)를 기록, 실행 가능성과 엔지니어링 유효성 간 근본적 괴리를 실증.
4. 프롬프트 명세 및 반복 샘플링 ablation: 저명세(level 1) 프롬프트에서 전체 통과율이 1/60로 붕괴하는 반면 level 3에서는 20/60으로 개선됨을 보이고, 반복 샘플링이 frontier hosted 모델의 성능은 개선하지만 CADCoder의 파라메트릭 실패는 복구하지 못함을 보임.

How

Figure 2. Implementation-level evaluator dataflow. CADEngBench scores generated programs through executable artifacts an

• 40개 오브젝트에 대해 object contract $c_o = (p_o^{(1)}, p_o^{(2)}, p_o^{(3)}, s_o, q_o, g_o)$를 구성: 프롬프트 변형, 구조화 사양, 제약 계약, 실행 가능 참조 CadQuery로 구성.
• 제약 계약 $q_o = \{\theta_{primary}, \theta_{dep}, r_{1:K}, b, \Delta\theta, \pi_{prop}\}$에는 주 파라미터, 종속 파라미터 유도식, 관계형 검사(허용오차 포함), 예상 bounding box, perturbation 사양이 포함됨.
• 전체 통과 여부는 각 layer predicate의 논리곱으로 정의: $P_{overall}(x) = P_{L0}(x) \wedge P_{L1}(x) \wedge P_{L2}(x) \wedge P_{L3}(x)$.
• 프롬프트 사다리(level 1/2/3)를 통해 과소명세(underspecification)와 모델 역량 부족을 구분.
• GPT-5.1, Claude Sonnet 4.6, Gemini 2.5 Pro, Qwen3 Coder 30B A3B, CADCoder 5개 모델을 표준화된 level 3 프롬프팅/스코어링 파이프라인으로 평가.
• 원시 생성 결과, 추출 스크립트, 매니페스트, 평가자 JSON, 집계 테이블을 보존하여 감사 가능성(auditability) 확보.

Originality

• 단일 monotone geometry score가 아니라 L2(파라메트릭 무결성)와 L3(물리 검증)를 별개 축으로 분리하는 방법론적 선택이 독창적이며, 이를 통해 코드 유효성 또는 기하 유사도만으로는 드러나지 않는 실패 유형을 노출.
• Z3 SMT 제약 검증을 CAD 평가에 결합하여 symbolic constraint satisfaction을 perturbation robustness와 함께 검사하는 접근.
• 텍스트-투-CAD 연구 흐름(CAD-Coder 등)에서 주로 사용되던 command/parameter accuracy, visual similarity, geometric reward 대신 "재사용 가능성"과 "물리적 타당성"을 명시적 평가 축으로 도입.

Limitation & Further Study

• 벤치마크 규모가 40개 객체로 제한적("audit-sized")이어서 통계적 유의성 및 도메인 커버리지 확장 여지가 있음.
• 5개 모델만 평가했으며, CADCoder를 제외한 나머지는 범용 코드 생성 모델로 CAD 특화 모델과의 비교가 제한적임.
• 물리 검증(L3)이 닫힌형(closed-form) 물리 근사에 한정되어 있어 복잡한 비선형/다물리 현상에 대한 검증력은 제한적일 수 있음.
• 향후 연구로 더 많은 CAD 특화 모델, 더 넓은 도메인, 더 정교한 물리 시뮬레이션(FEM 등)과의 통합이 필요.

Evaluation

총평: 실행 가능한 CAD 코드와 진정한 엔지니어링 유효 CAD 사이의 간극을 정량적으로 드러낸 시의적절하고 정교하게 설계된 벤치마크로, AI-for-engineering 평가 방법론에 실질적 기여를 한다. 다만 규모와 모델 커버리지 확장이 추가 검증에 도움이 될 것이다.