Uncovering the Latent Relationships in Food Inspection Records via Unsupervised Clustering

Motivation

• Known: 식품 안전 점검 기록은 구조화된 위험등급(예: High, Medium, Low)으로 요약되어 점검 빈도를 결정하는 데 사용되며, 비지도 클러스터링은 전자의무기록 서브표현형 발굴, 청소년 물질사용 위험 프로파일링, 심혈관질환 위험 계층화 등 공중보건 데이터에서 잠재구조를 밝히는 데 효과적임이 알려져 있다.
• Gap: 2019년에 개발된 규칙 기반 위험 분류 체계는 운영상 편리하지만 전체 점검 이력의 풍부한 잠재구조를 활용하지 못하며, TPH의 개방형 식품 점검 데이터는 지금까지 어떤 머신러닝/데이터 기반 연구에도 사용된 적이 없어 이 데이터가 공식 라벨을 넘어서는 구조를 담고 있는지에 대한 검증이 부재했다.
• Why: 식품 점검 위험등급은 점검 빈도와 자원 배분을 결정하는 실질적 규제 도구이므로, 규칙 기반 라벨이 포착하지 못하는 잠재적 운영 패턴을 발견하면 위험 기반 점검 정책을 보완하고 공중보건 자원 배분의 정교화에 기여할 수 있다.
• Approach: 28개 특성으로 정제된 혼합형(범주형/이진/수치형) 점검 데이터를 UMAP으로 2차원에 투영한 뒤 GMM으로 군집화하고, BIC를 통해 구성요소 수 k를 선택하는 파이프라인을 구축하여 공식 위험라벨과의 일치도(ARI, NMI)를 사후적으로 평가하였다.

Achievement

1. 최초의 TPH 데이터셋 기반 ML 연구: Toronto Public Health의 20,055개 레코드, 64개 변수로 구성된 공개 식품점검 데이터를 처음으로 머신러닝 연구에 활용한 신규 데이터셋을 소개하였다.
2. 표준화된 전처리 파이프라인 구축: 결측치 20% 초과 변수 제외, 고카디널리티 범주형 변수의 top-15 처리, 이진/수치형 변수 결측치 대치 등 혼합형 데이터에 대한 재현 가능한 전처리 절차를 제시하였다.
3. UMAP+GMM+BIC 클러스터링 프레임워크: 원본 28차원, PCA 95% 분산 유지 공간, UMAP 2차원 임베딩 세 가지 표현공간에서 GMM을 비교하여, UMAP 공간이 실루엣 점수(0.429)와 NMI(0.183) 모두에서 가장 우수함을 정량적으로 검증함으로써 UMAP이 인위적 군집을 만든 것이 아님을 입증하였다.
4. 5개의 운영적으로 일관된 사업장 표현형 발견: 공식 3단계 위험라벨과 군집 간 교차분석(Figure 3)을 통해 Medium/Low 라벨이 여러 군집에 걸쳐 혼재되어 있음을 보이고, Previous Risk level, Commercial Dishwasher, Donair/Shawarma, 3-Compartment Sink 등 장비/이력 특성이 군집을 구별하는 데 유의미함을 카이제곱 검정 및 ANOVA로 확인하였다.

How

• 데이터 소스: Toronto Public Health Establishment List, 20,055개 활성 식품 사업장 레코드, 64개 변수 (2026년 2월 6일 기준)
• 전처리: 20% 초과 결측 변수 및 식별자 제거(36/64 특성 제외, 28개 특성 잔류), 고카디널리티(15개 초과 수준) 범주형 변수는 상위 15개 유지 후 "Other"로 통합, 원-핫 인코딩; 이진 변수는 {1,0} 매핑 및 결측치를 "No"(0)로 대치; 수치형 변수는 중앙값 대치 후 표준화
• 차원 축소: UMAP(n_neighbors=30, min_dist=0.1)으로 68차원(원-핫 인코딩 후) 특성 행렬을 2차원으로 투영, 지역적 위상 구조 보존을 위해 PCA 대신 채택
• 클러스터링: 전체 공분산(full covariance) GMM을 k∈{2,...,10}에 대해 UMAP 임베딩에 적합시키고, BIC 최소화 기준으로 k*를 선정(k=5 채택, 해석 가능성과 통계적 적합성 균형)
• 평가: 공식 위험라벨(Current Risk)과 군집 할당 간 일치도를 ARI, NMI로 측정하되, 위험라벨은 학습에 전혀 사용하지 않음(엄격한 비지도 방식)
• 강건성 검증: 원본 28차원 공간, PCA(95% 분산, 25차원) 공간, UMAP 2차원 공간에서 각각 GMM(k=5)을 적합시켜 ARI, NMI, Silhouette score를 비교
• 사후 분석: 각 군집에 대한 특성 유병률, 사업장 그룹 분포, 위험라벨 구성을 산출하고, 이진/범주형 변수는 Pearson Chi-squared test, 수치형 변수는 One-way ANOVA F-test로 판별력 순위화

Originality

• Toronto Public Health의 식품점검 개방데이터를 머신러닝/데이터 기반 연구에 최초로 활용하여 신규 데이터셋(20,055 레코드)을 공개한 점
• 단순 클러스터링 적용을 넘어, UMAP이 인위적 군집을 생성하지 않았음을 원본 공간·PCA 공간·UMAP 공간 간 비교를 통해 실증적으로 검증한 강건성 분석 설계
• 공식 규제 위험등급을 학습에 사용하지 않고 사후 평가 지표로만 사용함으로써, 엄격한 비지도 학습 관점에서 규제 라벨의 한계를 드러내는 접근

Limitation & Further Study

• BIC가 k=2에서 k=10까지 단조 감소하며 명확한 elbow가 없어 k=5 선택이 다소 임의적이며, 해석 가능성이라는 주관적 기준에 의존하고 있다는 한계가 있다.
• ARI 값이 전반적으로 낮음(UMAP 공간에서도 0.089)에 그쳐, 발견된 군집이 실제로 얼마나 의미 있고 실행 가능한 정보를 제공하는지에 대한 추가적인 도메인 전문가 검증이 필요하다.
• 2차원 UMAP 임베딩에 대한 GMM 적합은 정보 손실 가능성이 있으며, 시간적 변화(계절성, 사업장 노후화 등)를 반영하지 못하는 정적 스냅샷 분석이라는 한계가 있다.
• 후속 연구로는 발견된 5개 표현형이 실제 위반 재발률이나 식품매개질환 발생과 상관관계가 있는지 종단적으로 검증하고, 다른 도시/지역 데이터에 대한 일반화 가능성을 평가할 필요가 있다.

Evaluation

총평: 새로운 공공데이터셋을 소개하고 표준적인 UMAP+GMM 파이프라인의 강건성을 꼼꼼히 검증한 점은 돋보이나, 방법론 자체의 참신성은 제한적이며 낮은 ARI 값이 시사하듯 발견된 군집의 실질적 유용성에 대한 추가 검증이 필요한 워크숍 수준의 응용 연구이다.