Hierarchical Causal Abduction: A Foundation Framework for Explainable Model Predictive Control

Motivation

• Known: LIME, SHAP과 같은 기존 XAI 기법들은 정적 입력에 대한 feature attribution을 통해 즉각적인 중요도를 설명하며, KKT multiplier는 MPC의 constraint 활성 여부를 수학적으로 엄밀하게 나타내고, PCMCI는 시계열 데이터에서 lagged nonlinear dependency를 발견하는 causal discovery 방법으로 알려져 있다.
• Gap: 기존 방법들은 MPC 설명 문제의 일부만을 다룬다: feature attribution 기법은 시간적 optimization 논리를 놓치고, causal discovery는 optimizer의 내부 추론을 무시하며, knowledge graph 접근법은 특정 시점에서 어떤 물리적 메커니즘이 활성화되었는지 판단하지 못한다. 즉 예측된 미래 상태에 기반해 현재 행동이 결정되는 temporal causality를 설명할 수 있는 통합 프레임워크가 부재하다.
• Why: MPC는 안전이 중요한 인프라(온실, 건물 HVAC, 화학 공정 등)를 운영하는 데 널리 쓰이지만, nonlinear dynamics와 hard safety constraint, 수치 최적화 과정이 개별 제어 행동을 운영자에게 불투명하게 만들어 신뢰와 실배포를 저해하므로, 이를 해소할 설명 프레임워크는 실질적 배포 가능성과 안전성 확보에 중요하다.
• Approach: HCA는 KKT multiplier 기반 최적화 근거, 도메인 knowledge graph 순회를 통한 물리 기반 추론, PCMCI 기반 시간적 causal discovery라는 세 가지 증거원을 계층적으로 결합해 가설을 순위화하고 counterfactual 검증을 통해 최종 설명을 생성하는 방식으로 접근한다.

Achievement

1. cross-domain 일반화 성능: 단일 파라미터 세트로 온실 기후, 건물 HVAC, 화학 공정 세 가지 도메인에서 LIME 대비 설명 정확도를 53% 향상(0.478 vs. 0.311)시켰다.
2. 도메인별 캘리브레이션 효과 입증: KKT-threshold를 2~3일간 도메인별로 조정하는 경미한 튜닝만으로 정확도를 0.88까지 향상시켜 실용적 배포 가능성을 보였다.
3. 구성요소별 필수성 검증: ablation study를 통해 세 증거원(Physics, KKT, PCMCI) 중 어느 하나라도 제거 시 32~37%의 정확도 저하가 발생함을 확인, 각 요소의 상호 보완적 필요성을 입증했다.
4. 방법론적 일반화 가능성 제시: HCA의 hypothesis ranking-and-validation 방법론이 MPC를 넘어 model-based RL, neural MPC, trajectory planning 등 다른 예측 기반 의사결정 시스템에도 확장 가능함을 논의했다.

How

• KKT multiplier λi를 추출하여 활성 constraint를 식별하고 비용에 대한 영향력으로 순위를 매김
• 도메인 knowledge graph를 순회하여 물리적 메커니즘(예: 온도-습도 관계) 후보를 탐색
• PCMCI 알고리즘을 통해 lagged temporal dependency를 발견하여 시간적 인과 사슬을 규명
• 세 증거원에서 나온 가설을 계층적으로 통합·순위화(hierarchical ranking)
• constraint를 완화하고 MPC를 재-solve하는 counterfactual 검증(Prop. C.2)을 통해 설명의 충실성(faithfulness)을 확인
• 온실 기후, 건물 HVAC, 화학 공정 세 도메인에서 전문가 평가(expert validation)와 Answer Correctness(AC) 지표로 성능을 측정
• knowledge graph perturbation 및 PCMCI hyperparameter 변화에 따른 ablation 실험 수행

Originality

• 물리 기반 knowledge graph, KKT multiplier 최적화 근거, PCMCI 시간적 causal discovery라는 세 가지 이질적 증거원을 최초로 통합한 계층적 프레임워크를 제안
• MPC의 접근 가능한 최적화 문제와 constraint를 활용해 explanation 정확성을 검증하는 진짜 oracle(constraint relaxation 후 재-solve)을 도입함으로써, 기존 XAI가 다루지 못했던 explanation의 ground-truth 검증 가능성을 확보
• 정적 input 기반 XAI(LIME, SHAP)와 달리 예측된 미래 상태에 기반한 temporal causality(intervention/counterfactual 질문)를 명시적으로 다루는 설명 체계를 설계
• 단일 cross-domain 파라미터 세트로 이질적인 세 산업 도메인에 적용 가능함을 실증하여 일반화 가능한 explainable MPC 프레임워크의 실용성을 입증

Limitation & Further Study

• HCA는 최적화 문제와 constraint에 대한 명시적 접근을 요구하므로, model-free RL이나 black-box 학습 기반 제어기에는 직접 적용할 수 없으며 이에 대한 확장은 향후 과제로 남아있음
• 전문가 평가가 세 가지 도메인에 한정되어 있어 더 많은 산업 및 제어 유형에 대한 일반화 검증이 필요함
• 완전한 cross-domain 정확도(0.478)는 여전히 상대적으로 낮은 수준이며, 실용적 배포를 위해서는 도메인별 캘리브레이션(2~3일)이 요구되어 완전한 zero-shot 일반화는 아직 달성되지 못함
• 향후 연구로 model-based RL, neural MPC 등 학습 기반 제어기로의 확장, 그리고 oracle이 부재한 상황에서의 설명 신뢰성 평가 방법론 개발이 필요함

Evaluation

총평: MPC의 설명 가능성 문제를 물리 기반 지식, 최적화 이론, 시간적 인과 발견이라는 세 축으로 통합해 다룬 참신하고 실용적인 프레임워크로, 다양한 산업 도메인에서 실증적 검증을 거친 점이 돋보이나 학습 기반 제어기로의 확장은 향후 과제로 남는다.