Generative Modeling of Discrete Latent Structures via Dynamic Policy Gradients

Motivation

• Known: 고전적 방법인 expectation-maximization은 latent state와 관측치를 연결하는 확률 Pr(X|S)를 이용해 원리적으로 mechanistic latent state를 추론할 수 있지만 combinatorially large space로 확장이 어렵다. 반면 variational autoencoder 등 딥러닝 기반 생성 모델은 확장성은 있지만 실제 mechanistic ground-truth state가 아닌 임의의 artificial latent space를 학습한다.
• Gap: GFlowNets나 policy gradient 등 RL 기반 방법들은 known reward 하에서 expected return을 최대화하거나 trajectory distribution을 reward distribution에 맞추는 데 초점을 맞추며, 관측 데이터의 marginal likelihood Pr(X|θ)를 직접 최적화하도록 설계되지 않았다는 연구 공백이 있다.
• Why: 화학 반응 경로, 진화 계통수, 유전자 조절 네트워크, RNA isoform 등 다수의 과학적 문제는 combinatorial하고 mechanistic한 latent state를 indirect observation으로부터 추론해야 하며, 이를 확장 가능하면서도 실제 물리·생물학적 의미를 보존한 채 추론할 수 있는 원리적 방법이 필요하다.
• Approach: 저자들은 policy gradient에 동적으로 스케일링된 reward를 결합하여, RL 기법을 표준 강화학습이 아닌 관측 데이터 likelihood를 최대화하는 확률적 모델링·최적화 도구로 재해석하는 GReinSS 프레임워크를 제안한다.

Achievement

Figure 2. GReinSS outperforms all baseline methods in simu-

1. 시뮬레이션 latent set/graph 복원: GReinSS는 표준 policy gradient, GFlowNets, local search, VAE·diffusion model·autoregressive model 기반 generalized EM 등 다양한 baseline보다 높은 정확도로 ground-truth latent set 및 latent graph를 복원했다.
2. 실제 RNA isoform 재구성: GTEx의 실제 short-read RNA sequencing 데이터에서 GReinSS는 GTEx가 사용하는 표준 방법인 RSEM보다 orthogonal long-read sequencing으로 검증된 isoform을 더 정확하게 예측했다.
3. 통합 프레임워크 제시: GEM, VI, GFlowNets 등 기존 접근법들이 GReinSS의 특수 사례로 어떻게 환원되는지를 이론적으로 규명하여 policy learning과 생성 모델링·추론 사이의 연결점을 제공했다.

How

Figure 1. Overview of GReinSS. a Many scientific problems

• Pr(S|θ)를 파라미터화하는 policy를 정의하고, 순차적 action을 통해 구조화된 latent state S를 생성
• 관측치 Xi에 대한 dynamic reward를 설계하여, 표준 RL의 고정된 reward function이 아니라 학습이 진행됨에 따라 재조정되는 reward를 사용해 policy gradient가 marginal likelihood Q_i Pr(Xi|θ)를 최대화하는 방향으로 θ를 업데이트하도록 함
• 학습 문제(파라미터 θ 학습)와 추론 문제(주어진 Xi, θ에서 ˆSi = argmax Pr(S|Xi)Pr(S|θ) 추정)를 모두 policy gradient 기반 프레임워크 하나로 해결
• GEM, VI, GFlowNets 등 기존 방법들과의 이론적 관계를 규명하여 특수 사례로서의 대응 관계를 분석
• 시뮬레이션된 latent set/graph 및 GTEx 실제 short-read RNA-seq 데이터(isoform 추론, RSEM과 비교, long-read sequencing으로 검증)를 통해 실증 평가

Originality

• 표준 RL에서 고정된 reward function 하에 expected return을 최적화하는 것과 달리, dynamic reward rescaling을 통해 RL 기법을 marginal likelihood 최적화 도구로 재해석한 점이 독창적
• GFlowNets가 known reward를 가정하는 것과 달리, GReinSS는 관측 데이터의 likelihood를 최대화하도록 reward 자체를 학습 과정에서 적응적으로 구성
• EM/GEM, VI, GFlowNets 등 서로 다른 계열의 방법론을 하나의 통합된 policy learning 관점에서 특수 사례로 연결한 이론적 기여
• artificial latent space가 아닌 mechanistic ground-truth latent state(집합, 그래프, RNA isoform 등)를 직접 복원하는 데 초점을 맞춘 문제 설정 자체가 기존 생성모델 연구와 차별화됨

Limitation & Further Study

• 발췌된 내용만으로는 dynamic reward rescaling의 구체적 수식·이론적 수렴 보장이 명확히 제시되지 않아 알고리즘의 안정성에 대한 심층 분석이 필요
• 시뮬레이션 실험과 단일 실제 데이터셋(GTEx RNA-seq)에 한정되어 있어, 화학 반응 경로나 진화 계통수 등 다른 combinatorial 도메인으로의 일반화 검증이 부족
• policy 학습 및 reward rescaling의 계산 비용과 큰 latent space에서의 확장성(예: 매우 큰 그래프나 매우 긴 시퀀스)에 대한 구체적 분석 필요
• baseline 비교가 특정 GFlowNets, VAE, diffusion, autoregressive 구현에 한정되어 있어 최신 SOTA 방법과의 폭넓은 비교가 후속 연구로 요구됨

Evaluation

총평: RL의 policy gradient를 동적 reward rescaling과 결합하여 관측 데이터의 marginal likelihood를 직접 최적화하는 새로운 관점을 제시하고, 시뮬레이션과 실제 생물학적 데이터에서 기존 방법들을 능가함을 보인 견고하고 의미 있는 연구이다.