SEAL - A Symmetry Encouraging Loss for High Energy Physics

Motivation

• Known: 물리적 대칭성(symmetry)은 과학 분야 머신러닝 모델에 강력한 inductive bias를 제공하며, Lorentz/Poincaré group 등에 대해 equivariant한 아키텍처(예: Lorentz-equivariant network)를 명시적으로 설계하는 것이 데이터 효율성과 성능 면에서 우수함이 기존 연구들(Gong et al., Bogatskiy et al., Spinner et al. 등)에서 입증되었다.
• Gap: equivariant 아키텍처는 제한된 연산 집합으로 인해 계산 비용이 높고 범용 아키텍처의 스케일링 특성을 따르지 못하며, 실제 검출기의 유한 에너지 임계값이나 빔 방향 등으로 인해 대칭성이 완벽히 성립하지 않는 실험 데이터를 다루기 어렵다는 한계가 있다.
• Why: 아키텍처 변경 없이 어떤 모델에도 적용 가능한 soft-constraint 방식으로 대칭성을 유도할 수 있다면, 추론 시 추가 비용 없이 대칭성 파괴가 존재하는 실제 실험 데이터(예: HEP 검출기 데이터)에서도 강건성과 데이터 효율성을 확보할 수 있어 실용적 가치가 크다.
• Approach: 손실 함수에 SEAL이라는 페널티 항 Γ를 추가하여, 대칭이 완벽히 지켜질 때 Γ가 0이 되도록 하는 soft-constraint 프레임워크를 제안하고, 이를 top quark tagging 문제에 적용해 Lorentz invariance를 유도한다.

Achievement

Figure 2. Tagger invariance to 3D Lorentz boosts as a function of

1. SEAL 프레임워크 제안: 아키텍처 수정 없이 어떤 모델에도 적용 가능한 일반적 soft symmetry-encouraging loss 항 Γ를 정의하고, 임의의 Lie group에 적용 가능함을 보였다.
2. GSEAL과 δSEAL 두 변형 개발: GSEAL은 유한한 무작위 group transformation(예: 3D Lorentz boost)에 대한 출력 차이를 직접 페널티화하고, δSEAL은 Lorentz algebra의 생성자(generator)를 이용해 무한소 변환에 대한 그래디언트를 Taylor 전개로 유도해 페널티화한다.
3. 계산 효율성 확인: 추론 시 추가 비용이 없고 학습 시에도 최소한의 추가 비용만 발생함을 입증했다.
4. Top quark tagging 실험을 통한 강건성 입증: soft constraint 추가가 tagger의 Lorentz boost에 대한 invariance를 향상시키고, jet pT에 따른 정확도와 background rejection 등 실제 성능 지표에서도 더 강건한 성능을 보임을 확인했다.

How

Figure 1. The MSE score as a function of the boost applied to the

• 기존 손실 함수 L(fθ(x), y)에 하이퍼파라미터 λ로 가중된 SEAL 항 Γ(fθ(x), y)를 추가: min_θ E[L(fθ(x), y) + λΓ(fθ(x), y)]
• Γ의 일반형은 group G에 대한 적분과 데이터셋 X에 대한 합으로 정의되며, 대칭이 보존되면 0이 됨
• 계산 불가능한 group 적분을 다루기 위해 Monte Carlo 방식으로 학습 데이터에서 샘플링하고, non-compact Lorentz group에 대해 전역적(global) 및 국소적(local) 두 근사 형태를 고려
• GSEAL (ΓG): 미니배치마다 랜덤 3D Lorentz boost(Λ 행렬, boost 방향은 unit sphere에서 균등 샘플링, ∥β∥²는 0~0.95 사이 균등분포)를 적용해 변환 전후 네트워크 출력 차이를 페널티화
• δSEAL (Γδ): Lorentz algebra의 6개 생성자(La)를 이용한 무한소 변환 x → x + Σ ϵ·La·x를 Taylor 전개하여 얻은 그래디언트 기반 페널티 항을 유도, ϵ에 대해 정규화 후 최대화하여 최종 형태 도출
• 4-vector representation의 입력에 대해 Lorentz-invariant 함수(g⊙f = f, La_f·f = 0)를 유도하도록 두 손실 모두 설계
• toy 실험(Sec 3.1)과 top quark tagging jet-tagging 실험(Sec 3.2)에서 검증

Originality

• 기존의 hard-constraint equivariant 아키텍처(Lorentz-equivariant network 등) 대신, 어떤 아키텍처에도 적용 가능한 soft-constraint loss 항을 제안한 점이 독창적
• 유한 군 변환(GSEAL)과 무한소 변환(δSEAL)이라는 상호 보완적인 두 관점에서 대칭성 페널티를 공식화한 점
• non-compact Lie group인 Lorentz group에 대해 group 적분의 다루기 어려움을 Monte Carlo 샘플링과 Taylor 전개 기반 근사로 실용적으로 해결한 점
• 대칭이 완벽히 성립하지 않는 실제 검출기 환경(유한 granularity, 에너지 임계값)에 대응하는 soft한 방식으로 접근한 점이 기존 hard equivariance 접근법과 차별화됨

Limitation & Further Study

• 본 발췌 부분에서는 실험 섹션(toy 실험, top quark tagging 상세 결과)의 정량적 수치나 baseline 대비 구체적 개선폭이 충분히 제시되지 않아 실제 성능 향상의 크기를 판단하기 어려움
• λ 하이퍼파라미터 튜닝에 대한 민감도 분석이나 다른 대칭군(다른 Lie group)에 대한 일반화 실험이 부족해 보이며, 후속 연구로 다양한 도메인(비전, 분자물리 등)에서의 검증이 필요함
• soft constraint이므로 대칭성이 엄밀히 보장되지 않아, 안전이 중요한 응용에서는 hard equivariant 모델 대비 신뢰성 검증이 추가로 요구됨
• Monte Carlo 샘플링에 의한 근사이므로 샘플링 분산이 학습 안정성에 미치는 영향에 대한 추가 분석이 필요함

Evaluation

총평: 아키텍처 제약 없이 대칭성을 유도하는 실용적이고 일반적인 손실 함수 설계로, HEP를 비롯한 다양한 과학 도메인에 폭넓게 적용될 잠재력이 있는 흥미로운 연구이다.