Forward-Chaining Temporal Point Process

Motivation

• Known: 기존 neural TPP(RNN, Transformer 기반)는 이력을 일반적인 통계 요약으로 인코딩해 강력한 밀도 추정 성능을 보이지만, 도메인 제약을 마스킹이나 rejection sampling, penalty loss 등 사후적 방식으로만 처리한다. Neuro-symbolic TPP들은 규칙을 이용해 intensity를 직접 조정하거나 관측된 이벤트를 설명하지만, symbolic layer가 별도의 잠재 프로세스로 존재하지 않는다.
• Gap: 기존 방법들은 symbolic 구조를 생성 전체 과정에 구조적으로 통합하지 못하고 출력 단계에서만 제약을 부과하거나, 잠재 상태를 해석 가능한 시스템 상태 요약으로 설계하지 않는다. 특히 sparse하고 incomplete한 이벤트 시퀀스에서 논리적으로 일관된 잠재 상태를 유지하며 미관측 조건(예: eligibility flag, 숨겨진 regime)을 추론하고 전파하는 메커니즘이 부재하다.
• Why: 임상 워크플로우, 금융, 보안 등 안전이 중요한 도메인에서는 데이터가 희소하고 개인정보 이슈로 공유가 어려우며, 관측된 시퀀스도 노이즈가 많고 불완전하다. 이런 상황에서 도메인 규칙을 준수하면서 통제 가능한 synthetic sequence를 생성할 수 있으면 downstream 모델 학습의 데이터 병목을 완화하고 희귀 패턴의 커버리지를 개선할 수 있다.
• Approach: FC-TPP는 reasoning-before-generation 패러다임을 채택하여, 새로운 이벤트 증거를 받을 때마다 differentiable multi-hop forward-chaining 연산자로 predicate 기반 잠재 상태를 규칙 완성(rule-completed)한 뒤, 이 상태에 조건화된 TPP 디코더가 다음 이벤트의 시간과 유형을 생성한다.

Achievement

FC-TPP는 synthetic 데이터와 LogiCity, MIMIC-IV, EPIC-100, IKEA ASM 네 가지 semi-synthetic/real-world 벤치마크에서 제한적이고 불완전한 데이터 환경에서도 더 높은 생성 품질, 더 강한 제약 준수(constraint adherence), 그리고 순수 neural 및 기존 neuro-symbolic baseline 대비 더 뛰어난 controllability를 달성했다.

1. 생성 품질 향상: 제한된/불완전한 데이터 조건에서 기존 baseline 대비 더 높은 생성 품질(MMD 등 평가지표 기준)을 보임.
2. 제약 준수 강화: 도메인 논리 규칙에 대한 adherence가 강화되어 생성된 시퀀스가 domain constraint를 더 잘 만족함.
3. Few-shot 강건성: MIMIC-IV few-shot 생성 실험에서 데이터가 적은 상황에서도 안정적인 성능을 유지함(Figure 5).
4. 파라미터 효율성: 다른 방법들 대비 적은 파라미터로 우수한 성능을 달성함(Figure 4).

How

• Predicate(고수준 명제)로 구성된 explicit latent symbolic state를 정의하고, 각 이벤트마다 GRU 기반 recurrent state와 결합하여 신경망으로 pre-update.
• LLM을 활용해 predicate 및 rule embedding을 초기화하는 symbolic prior bank를 구성(선택적).
• Definite Horn clause 형태의 logic rule 집합 F를 이용해 differentiable multi-hop forward-chaining 연산자를 적용, grounded predicate 집합 Γ0(x)에서 시작해 H 라운드에 걸쳐 잠재 상태를 rule-completed 상태로 전파.
• 최종 잠재 상태를 조건으로 하는 TPP 디코더(conditional intensity λ(t,m|xt) 기반)가 Ogata's thinning algorithm 등을 통해 다음 이벤트 시간과 유형을 autoregressive하게 샘플링.
• Neural Pre-Update Module, Symbolic Prior Bank/LLM, Neuro-Symbolic Reasoning Layer, Event Decoder의 네 모듈로 구성된 아키텍처(Figure 1)를 통해 전체 파이프라인을 end-to-end 학습.

Originality

• Reasoning-before-generation이라는 구조적 원칙을 제시하여, 규칙 기반 추론을 후처리 제약이 아닌 생성 경로 전체에 구조적으로 내재화함.
• Multi-hop forward chaining을 잠재 전이 연산자(latent transition operator) 자체로 사용하여, 기존 neuro-symbolic TPP가 관측 시퀀스 위에서 직접 규칙을 적용하는 것과 차별화.
• Predicate 기반의 압축적이고 해석 가능한 잠재 표현을 continuous-time TPP 디코더와 결합해, 미관측 regime/eligibility flag 등을 추론·전파하는 메커니즘 제공.
• LLM을 predicate/rule embedding 초기화에 선택적으로 활용하는 하이브리드 설계를 통해 도메인 지식 주입 경로를 유연하게 확장.

Limitation & Further Study

• Logic rule 집합과 predicate 정의가 사전에(또는 LLM을 통해) 주어져야 하므로, 도메인 전문가 지식이나 rule curation에 대한 의존성이 존재하며 완전 자동화된 rule discovery는 아님.
• Forward-chaining의 hop 수(H)나 rule 복잡도가 증가할 때의 계산 비용 및 확장성에 대한 심층 분석이 제한적일 수 있음.
• 평가 대상 도메인(의료, 활동 인식 등)에 특화된 predicate/rule 설계가 다른 도메인으로 일반화될 때 재설계 비용이 발생할 수 있음.
• 향후 연구로 rule 자체를 데이터로부터 자동 학습하거나 불확실성 하에서의 soft forward-chaining 확장, 더 큰 규모의 실제 임상 배포 검증 등이 필요.

Evaluation

총평: Symbolic reasoning을 생성 파이프라인의 사후 제약이 아닌 잠재 상태 전이의 핵심 메커니즘으로 통합한 참신한 접근으로, sparse/incomplete 이벤트 시퀀스 생성이라는 실용적으로 중요한 문제에 대해 다양한 벤치마크에서 설득력 있는 개선을 보여준다. 다만 rule/predicate 설계에 대한 의존성과 확장성 검증이 향후 과제로 남는다.