Controllable Molecule Generation via Sparse Representation Editing: An Interpretability-Driven Perspective

Motivation

• Known: LLM은 분자를 SMILES 등 문자열로 표현해 시퀀스로 학습함으로써 강력한 de novo 분자 생성 성능을 보여왔으며, retrieval 기반 검색, geometry-aware property tokenization, cross-modal alignment, trigger-query 기반 멀티모달 제어 등 다양한 controllable molecule generation 기법이 제안되어 왔다.
• Gap: 기존 controllable generation 기법들은 특정 property나 fragment의 존재 유무 정도만 제어하는 coarse-grained 방식에 그치며, LLM의 dense하고 entangled된 표현 특성상 특정 위치의 substructure 편집이나 property 수준의 정밀 조정이 불가능하다는 한계가 있다.
• Why: 약물 활성 최적화나 재료 설계처럼 실세계 분자 디자인은 정해진 scaffold 위에서 파괴적 구조 변화 없이 특정 부위를 정밀하게 편집하거나 여러 제약 하에서 물성을 조정해야 하므로, fine-grained하고 해석 가능한 제어 능력이 실질적인 과학적 발견 가속화에 필수적이다.
• Approach: SAE를 이용해 LLM의 활성화(activation)를 overcomplete sparse latent space로 투영, 화학적으로 해석 가능한 개념(concept)들로 분리한 뒤, 이 개념에 해당하는 latent feature의 활성화 강도를 직접 조작(amplify/suppress)하여 모델 파라미터 변경 없이 inference-time에 국소·전역 제어를 수행한다.

Achievement

Figure 4. (Top) The edited molecules optimize lipophilicity while maintaining high scaffold and pharmacophore similarity

1. 개념 정렬 sparse latent space 구축: SAE를 통해 LLM의 dense representation을 화학적으로 의미 있는 concept 단위로 분리하여, post-hoc 해석을 넘어 actionable한 생성 제어로 확장했다.
2. local/global 이중 제어 프레임워크 제안: forward hook 기반 원자/작용기 위치 지정 local control과 contrastive guiding sample 기반 property 조정 global control을 통합한 SpaRE를 개발했다.
3. 실세계 분자 설계 과제에서 검증: ChEBI-20 등 데이터셋 기반 high-throughput screening, 구조/물성 제어, 편집 경로 계획, 복합 제약 하 최적화 등 다양한 실용적 시나리오에서 높은 control success rate와 화학적으로 타당한(valid, synthesizable) 분자 생성을 입증했다.
4. 정량적 구조-물성 분석을 위한 메커니즘적 통찰 제공: 특정 편집이 분자 물성에 미치는 영향을 귀속 가능한 형태로 설명함으로써 과학적 발견을 가속화할 수 있는 해석 가능성을 확보했다.

How

Figure 2. Activation patterns for concepts are derived using two schemes: (Left) local substructure control of carbon at

• LLM 각 layer에서 activation vector z (차원 d)를 추출하고, encoder h = ReLU(Wenc z + benc), decoder ẑ = Wdec h + bdec 구조의 SAE를 학습하며, 잠재 차원 m은 d보다 훨씬 큰 overcomplete basis(d × expansion factor)로 설정한다.
• 학습 목적함수는 재구성 오차와 L1 sparsity 정규화의 결합인 L(z) = ||z − ẑ||²₂ + λ||h||₁로 정의되어, 소수의 활성 차원만으로 개념을 표현하도록 유도한다.
• local control: 특정 원자/작용기에 해당하는 activation을 forward hook으로 retrieve하여 지정 위치에 삽입.
• global control: positive/negative contrastive guiding sample들로부터 property-associated activation을 도출하고, 활성화 값이 일정 threshold(>0.5) 이상인 latent feature만 선택·연결하여 concept representation을 구성한 뒤 편집.
• 편집된 activation을 원래 layer에 재주입(inject)하여 inference 시점에 생성 분자를 목표 방향으로 steering.

Originality

• 기존 controllable molecule generation 연구들이 대부분 auxiliary conditioning module 추가나 fine-tuning에 의존한 반면, 본 연구는 mechanistic interpretability 도구인 SAE를 활용해 모델 파라미터 변경 없이 inference-time 편집만으로 제어를 달성하는 새로운 관점을 제시한다.
• interpretability를 post-hoc 분석 도구에서 벗어나 실제 생성 제어의 실행 수단(actionable generative control)으로 전환한 점이 독창적이다.
• local(원자/작용기 단위)과 global(구조·물성 단위) 제어를 하나의 통합된 sparse representation editing 프레임워크로 결합한 것이 특징적이다.

Limitation & Further Study

• SAE의 sparsity 정도(λ, expansion factor 등 하이퍼파라미터)가 concept 분리 품질과 제어 정밀도에 미치는 영향에 대한 체계적 분석이 부족할 가능성이 있으며, 다양한 LLM 아키텍처·크기에 대한 일반화 검증이 추가로 필요하다.
• global control에서 사용하는 contrastive guiding sample의 품질과 대표성에 결과가 민감할 수 있어, 이러한 샘플 선정 방식의 robustness에 대한 추가 연구가 요구된다.
• 복잡한 다중 제약(multi-constraint) 시나리오에서 서로 다른 concept 편집 간 간섭(interference) 문제를 어떻게 완화하는지에 대한 심층 분석이 후속 연구로 필요하다.

Evaluation

총평: mechanistic interpretability 기법인 SAE를 controllable molecule generation에 접목해 fine-grained하고 해석 가능한 제어를 파라미터 수정 없이 달성한 참신하고 실용적인 연구로, 약물 설계 등 실세계 응용에서의 잠재력이 크다.