CRYSTAL: Coordinated Multi-Objective Reinforcement Learning for Crystal Generation

Motivation

• Known: 기존에는 Materials Project, OQMD 등 결정 구조 데이터베이스와 diffusion 기반 생성모델, VAE 등을 통해 신물질을 탐색해왔으며, 최근 LLM을 fine-tuning과 RLVR(reinforcement learning with verifiable rewards)로 강화하는 두 단계 패러다임이 diffusion 기반 방법보다 우수한 성능을 보이고 있다.
• Gap: CrystalFormer-RL, CrysTex-RL 등 기존 RLVR 기반 방법들은 단일 또는 최대 두 개의 목적(주로 안정성)만을 보상 신호로 사용하여, 한 지표를 개선하면 다른 지표(특히 신규성·다양성)가 급격히 붕괴하는 reward hacking 및 다중 목적 간 불균형 문제가 발생한다. 또한 LLM의 autoregressive 생성은 diffusion model 특유의 확률적 탐색 메커니즘이 없어 RL 훈련 중 다양성 붕괴가 더욱 심각하다.
• Why: 안정성, 다양성, 신규성, 유효성을 동시에 만족하는 결정 구조를 생성하는 것은 실제 신소재 발견을 가속화하는 데 핵심적인 과제이며, 다중 목적을 조화롭게 최적화하지 못하면 생성모델의 실용적 가치가 크게 제한되므로 이 문제 해결은 재료 설계 분야에 중요한 의미를 가진다.
• Approach: Wyckoff notation으로 인코딩된 결정 구조 텍스트에 대해 LLM을 supervised fine-tuning한 뒤, GRPO 기반 강화학습 단계에서 물리 기반 검증 가능 신호와 데이터베이스 비교, 단일 추론 내 다중 후보 생성을 결합한 곱셈형 다중 목적 보상 함수로 정책을 갱신한다.

Achievement

Figure 2. The crystal structure of ErCo4

1. State-of-the-art 다중 목적 성능: 1,000개 생성 물질에 대해 S.U.N. 지표 25.1을 달성하여 기존 방법 대비 약 70% 향상을 보였다.
2. Reward hacking 완화: 곱셈적 보상 결합을 통해 한 목적이 0에 근접하면 전체 보상이 0이 되는 hard constraint를 부여하여, 특정 목표(예: 안정성)만 개선되고 다른 목표(예: 다양성)가 붕괴되는 현상을 효과적으로 방지하였다.
3. 화학 공간 커버리지 확장: 기존 단일 목적 RL 방법 대비 더 넓은 화학 공간을 커버하는 다양한 신규 결정 구조를 생성하였다.

How

Figure 1. This is the pipeline of our CRYSTAL. We further fine-tune the model using reinforcement learning, with a rewar

• 이전 연구(Xu et al., 2025b)의 학습 데이터를 사용하여 Wyckoff notation 기반 결정 구조 텍스트 표현으로 LLM을 supervised fine-tuning(SFT).
• Valid Reward: 원자 간 최소 거리 조건(Vstruct), 전하 중성 조건(Vcharge), MLIP(machine learning interatomic potential) 기반 기하 완화(relaxation) 수렴 조건(Vrelax) 세 가지 이진 기준의 곱으로 구조 유효성을 판정.
• Stability Reward: convex hull energy(Ehull)를 이용해 열역학적 안정성을 정량화하여 보상으로 사용.
• Novelty Reward: 생성된 구조를 MP-20 등 기존 데이터베이스와 명시적으로 비교하여 신규성을 규제.
• Uniqueness(diversity) Reward: 단일 rollout 내에서 여러 후보 구조를 동시에 생성하여 구조 간 유일성/다양성을 촉진하는 정책 업데이트 수행.
• 위 네 가지 하위 보상을 곱셈적으로 결합(multiplicative aggregation)하여 GRPO 알고리즘으로 정책을 최적화, Pareto 기반 혹은 가중합(additive) 방식과 달리 어떤 목표든 0에 가까우면 전체 보상이 0이 되도록 강제.

Originality

• 기존 RLVR 방법들이 단일 또는 두 개의 목적(주로 안정성)만 다루던 것과 달리, 안정성·신규성·다양성·유효성 네 가지를 동시에 다루는 최초의 GRPO 기반 다중 목적 결정 생성 프레임워크를 제안.
• Pareto 기반이나 가산적(additive) 보상 결합의 trade-off 가정을 회피하는 곱셈적 보상 결합(multiplicative aggregation) 설계를 통해 reward hacking을 구조적으로 방지하는 접근이 독창적.
• 단일 추론(single inference step) 내에서 다수 후보를 생성하여 명시적으로 다양성을 촉진하는 방식은 PLaID와 같은 pairwise 기반 DPO 접근이 다루지 못했던 batch-level 유일성(uniqueness) 지표를 직접 최적화 가능하게 함.

Limitation & Further Study

• 곱셈적 보상 결합은 한 요소가 매우 작을 때 전체 보상을 0으로 만들어 학습 신호가 희소해질 위험이 있으며, 이에 대한 gradient 안정성 분석이 본문 발췌에서는 충분히 제시되지 않음.
• S.U.N. 지표 25.1이라는 절대적 성능이 실제 재료 발견에 충분한 수준인지, 대규모 데이터셋이나 다양한 화학 조성 범위에 대한 일반화 성능 검증이 추가로 필요함.
• MLIP 기반 relaxation과 convex hull energy 계산의 정확도에 의존하는데, 이러한 근사 모델의 오차가 보상 신호 품질에 미치는 영향에 대한 논의가 부족함.
• 후속 연구로 더 많은 목적(예: 특정 물성 타겟팅)으로의 확장성 및 더 큰 규모의 벤치마크에서의 검증이 필요.

Evaluation

총평: 다중 목적 결정 구조 생성에서 reward hacking 문제를 곱셈적 보상 결합이라는 간단하면서도 효과적인 방법으로 해결하여 S.U.N. 지표에서 큰 폭의 성능 향상을 보인 실용적이고 의미 있는 연구이다.