Learning Adaptive Topology with FiLM-Guided Distillation for Tertiary Structure-Based RNA Design

Motivation

• Known: 기존 structure-to-sequence RNA design 방법들(RDesign, R3Design, gRNAde, RhoDesign 등)은 static k-nearest neighbor graph 또는 radius graph와 GVP-style equivariant message passing을 활용하여 3D 구조를 조건으로 서열을 생성하며, hierarchical contrastive learning이나 diffusion-based generation 등으로 데이터 효율성과 견고성을 개선해왔다.
• Gap: RNA tertiary 구조는 non-canonical base pair, pseudoknot, long-range motif 등으로 인해 기하학적으로 매우 이질적임에도 불구하고, 기존 방법들은 고정된 k를 가진 kNN 그래프에 의존하여 k를 늘려도 생화학적으로 무관한 edge noise가 유입되어 성능이 정체되거나 저하되며, 이는 annotated RNA 구조 데이터의 희소성이라는 저데이터 환경에서 더욱 심화된다.
• Why: 고정된 topology의 한계를 해결하고 RNA foundation model의 semantic prior를 추론 시 별도 의존 없이 활용할 수 있다면, 데이터가 부족한 RNA tertiary structure-based design 문제에서 sequence recovery와 structural fidelity를 동시에 향상시켜 촉매성 ribozyme, RNA switch, therapeutic aptamer 등 합성생물학·RNA 치료제 개발에 실질적으로 기여할 수 있다.
• Approach: 그래프 topology를 고정된 사전 지식이 아닌 학습 가능한 대상으로 취급하여 각 GNN layer마다 differentiable edge gating으로 동적 연결 구조를 구성하고(ATL), 동시에 RNA foundation model의 teacher representation과 student representation이 각각 FiLM layer를 통해 생성한 scale/bias factor를 정렬시켜 지식을 soft하게 증류하는(FGD) 방식을 결합한다.

Achievement

Figure 5. Recovery rate of fixed kNN graph construction and our

1. ATL-FGD 프레임워크 제안: topology 학습과 knowledge distillation을 통합하여 RNA tertiary structure-based design 성능을 개선하는 최초의 통합 접근을 제시함. 2. Adaptive Topology Learning (ATL): 고정 kNN 그래프의 edge noise 문제를 완화하고 layer-adaptive, data-driven 그래프 구조를 학습하여 RNA 구조의 유연성과 이질성을 반영함. 3. FiLM-Guided Distillation (FGD): 추론 시 teacher 모델 의존 없이 RNA foundation model의 semantic knowledge를 feature-wise linear modulation을 통해 student에 전이함. 4. 실험적 검증: benchmark 데이터셋에서 sequence recovery와 structural fidelity 모두에서 state-of-the-art baseline 대비 유의미한 성능 향상을 달성함.

How

Figure 2. Overview of ATL-FGD, which integrates Adaptive Topology Learning (ATL) and FiLM-Guided Distillation (FGD) for

• 3D 구조 그래프에서 nucleotide를 노드로, geometric relation(거리, 각도)을 edge로 표현하는 기존 프레임워크를 기반으로 함
• ATL: 각 GNN layer마다 differentiable edge gating mechanism을 도입하여 노드 간 연결 강도를 학습 가능한 파라미터로 두고, 이를 통해 layer별로 다른 adaptive graph topology를 구성
• FGD: 대규모 RNA sequence corpus로 사전학습된 RNA foundation model을 teacher로 사용하되, teacher와 student(구조 기반) representation이 각각 FiLM layer를 통과하여 scale/bias factor를 생성하도록 하고, 이 factor들을 training 중 정렬(align)시킴으로써 직접적인 feature alignment 대신 soft modulation 경로로 지식 전이
• 추론 단계에서는 teacher 모델(RNA foundation model) 없이 student만으로 sequence 생성 수행
• tertiary structure-based RNA design benchmark에서 sequence recovery 및 structural fidelity 지표로 평가

Originality

• topology 자체를 고정된 hand-crafted prior가 아닌 differentiable하게 학습 가능한 대상으로 재정의하고, GNN layer마다 다른 adaptive graph를 구성한다는 관점의 전환
• RNA foundation model의 지식을 직접적인 feature alignment가 아닌 FiLM 기반 scale/bias factor 정렬이라는 간접적·soft한 방식으로 distillation하여 추론 시 teacher 의존성을 완전히 제거
• 두 메커니즘(topology 학습과 semantic distillation)을 하나의 통합 프레임워크로 결합하여 RNA design의 구조적 표현력과 데이터 효율성을 동시에 개선

Limitation & Further Study

• edge gating이 학습하는 adaptive topology의 생물학적 해석 가능성(non-canonical base pair, pseudoknot과의 실제 대응 여부)에 대한 심층적 검증이 추가로 필요함
• FiLM-guided distillation에 사용되는 RNA foundation model의 선택 및 품질에 성능이 어느 정도 의존하는지에 대한 민감도 분석이 제한적일 수 있음
• 실험이 제한된 benchmark 데이터셋에 국한되어 있어, 실제 wet-lab 검증이나 더 다양한 RNA 패밀리에 대한 일반화 가능성은 추가 검증이 필요함
• 후속 연구로 학습된 topology의 물리적/화학적 타당성을 정량적으로 평가하는 지표 개발, 그리고 다양한 foundation model과의 결합 가능성 탐구가 있을 수 있음

Evaluation

총평: 고정된 topology 가정을 깨고 학습 가능한 adaptive graph 구조와 RNA foundation model로부터의 soft distillation을 결합하여 RNA tertiary structure-based design의 핵심 병목을 효과적으로 해결한 견실하고 실용적인 연구이다.