Latent Dirichlet allocation

Motivation

• Known: 문서-단어 행렬을 다루는 기존 방법으로 tf-idf 기반 표현, LSI(Latent Semantic Indexing), 그리고 pLSA(probabilistic Latent Semantic Analysis) 등이 널리 알려져 있었으며, 이들은 텍스트의 저차원 잠재 구조를 포착하려 했으나 확률적 생성 모델로서의 완전성이나 새로운 문서에 대한 일반화 능력에 한계가 있었다.
• Gap: pLSA는 문서별 토픽 혼합 비율을 고정된 파라미터로 취급하여 학습 데이터에 없는 새로운 문서에 대해 일반화하기 어렵고, 모델의 파라미터 수가 문서 수에 비례해 증가하는 과적합 문제가 있었다. 즉 문서 수준의 확률적 생성 과정을 완전히 베이지안하게 기술하는 모델이 부재했다.
• Why: 텍스트 코퍼스, 이미지, 유전자 발현 데이터 등 대규모 이산 데이터의 잠재 구조를 효과적으로 발견하고 차원을 축소하는 것은 정보 검색, 문서 분류, 데이터 압축 등 다양한 응용에서 핵심적인 문제이며, 확장 가능하고 일반화 가능한 생성 모델의 필요성이 컸다.
• Approach: 문서를 잠재 토픽에 대한 랜덤 혼합(random mixture)으로, 각 토픽을 단어에 대한 분포로 정의하는 3단계 계층적 베이지안 모델을 제안한다. 문서 수준의 토픽 비율은 Dirichlet 분포에서 샘플링되며, 이는 pLSA의 문서별 고정 파라미터 방식과 달리 코퍼스 전체에 공유되는 소수의 하이퍼파라미터로 새로운 문서에 대한 일반화를 가능하게 한다.

Achievement

• 완전한 생성적 확률 모델로서 LDA를 정식화하고 exchangeability 가정에 기반한 이론적 근거를 제시
• Variational EM 기반의 근사 추론 및 파라미터 추정 알고리즘 개발
• text classification, collaborative filtering 등에서 pLSA 및 unigram 모델 대비 우수한 perplexity 및 일반화 성능을 실험적으로 보임
• 토픽 모델링 분야의 표준 프레임워크로 자리잡아 이후 방대한 후속 연구(topic modeling literature)의 토대를 마련

How

• 각 문서에 대해 Dirichlet(α) 분포로부터 토픽 혼합 비율 θ를 생성
• 문서 내 각 단어에 대해 θ로부터 토픽 z를 선택하고, 해당 토픽의 단어 분포 β_z로부터 단어 w를 생성
• 정확한 사후분포 계산이 어려우므로 mean-field variational inference를 이용해 사후분포를 근사하고, variational EM으로 α, β 파라미터를 추정
• 합성 데이터 및 실제 텍스트 코퍼스(Perplexity 비교)에서 unigram, mixture of unigrams, pLSA와 비교 평가

Originality

개별 문서 파라미터가 아닌 코퍼스 수준의 하이퍼파라미터를 통해 완전한 생성적 베이지안 모델을 구성함으로써 pLSA의 일반화 문제를 해결했다는 점, 그리고 exchangeability(De Finetti's theorem)에 근거해 모델을 이론적으로 정당화한 점이 독창적이다.

Limitation

본 분석은 Abstract 및 본문 텍스트 없이 메타데이터만으로 작성되어, 구체적 실험 수치, 데이터셋 세부사항, 정확한 알고리즘 유도 과정 등 세부 근거가 부족하다. 또한 원 논문에서 언급된 실제 한계(예: 토픽 수 사전 지정 필요, bag-of-words 가정으로 인한 어순 정보 손실, mean-field 근사의 부정확성 등)는 일반적으로 알려진 사실에 기반해 추정한 것이며 원문 확인이 불가능하다.

Evaluation

총평: 토픽 모델링 분야의 기념비적 논문으로, 원문 부재로 세부 검증은 제한적이나 그 학술적 영향력과 방법론적 기여는 의심의 여지가 없다.