LithoGRPO: Fast Inverse Lithography via GRPO Reinforced Flow Matching

Motivation

• Known: 기존 ILT는 optimization-based 방식(미분 가능 목표에 대한 반복적 gradient descent)과 learning-based 방식(image-to-image 모델을 optimization 결과로 학습)으로 나뉘며, diffusion 기반 방법은 고품질이지만 multi-step sampling으로 느리다.
• Gap: 기존 생성 모델 기반 ILT는 L2, PVB 같은 미분 가능한 지표만 최적화 가능하고 Shot count, EPE 같은 non-differentiable하고 process-aware한 제조성 지표를 직접 최적화하지 못하며, diffusion 기반 방법은 multi-step sampling으로 인해 느려 대규모 ILT 적용에 제약이 있다.
• Why: 반도체 미세공정에서 mask 최적화 품질과 속도는 수율과 생산비용에 직결되므로, 물리 기반 보상을 활용해 미분 불가능한 제조성 지표까지 통합 최적화하면서도 빠른 생성 속도를 유지하는 방법은 산업적으로 중요하다.
• Approach: LithoGRPO는 mask 생성을 target layout에 조건화된 rectified flow matching 과정으로 모델링하고, pretraining, differentiable metric 기반 SFT, 그리고 SDE 기반 GRPO 탐색을 활용한 RLFT 3단계 학습으로 미분 가능·불가능 지표를 함께 최적화한다.

Achievement

Figure 2. ILT results visualization and comparison. (Left) Illustration of the lithography. (Right) Results of different

1. 최초의 flow matching-ILT 통합: mask 생성을 target layout 조건부 rectified flow matching 과정으로 최초로 모델링하여 diffusion 대비 빠르고 안정적인 sampling을 달성했다.
2. GRPO 기반 RLFT 설계: ILT의 명시적 물리 기반 reward function(L2, PVB, EPE, Shot 등)을 활용한 GRPO 강화학습 미세조정으로 미분 가능·불가능 지표를 통합 최적화하는 프레임워크를 최초로 제안했다.
3. 초고속 shot-count 알고리즘: 최소 중첩 직사각형 분해 기반의 shot-count 평가 알고리즘으로 기존 대비 130배~490배 속도 향상을 달성하면서도 mask 순위를 대체로 보존했다.
4. SOTA 성능: imaging fidelity, manufacturability, robustness 측면에서 optimization-based 및 learning-based 기존 방법들을 모두 능가하면서도 효율적인 mask 생성을 유지했다.

How

Figure 5. Overview of the RLFT stage in LithoGRPO. For each

• Lithography forward model(Hopkins’ diffraction model 기반 aerial image, resist image 계산)을 활용해 L2, EPE, PVB, Shot count 등 ILT 평가 지표를 정의
• 1단계: mask-target alignment를 위한 pretraining으로 rectified flow 기반 생성 모델 학습
• 2단계: L2, PVB 같은 differentiable metric을 최적화하는 supervised finetuning(SFT) 수행
• 3단계: SDE 기반 GRPO 탐색을 통해 differentiable(L2, PVB) 및 non-differentiable(EPE, Shot) 지표를 동시에 최적화하는 RL finetuning(RLFT) 수행
• RL 샘플링 효율을 높이기 위해 최소 중첩 직사각형 분해에 기반한 초고속 shot-count 알고리즘을 제안하여 metric 계산 시간을 약 1분에서 0.2초로 단축

Originality

• flow matching(rectified flow)과 강화학습(GRPO)을 ILT mask 최적화에 통합한 최초의 프레임워크로, diffusion 기반 방법의 multi-step sampling 한계를 극복
• 명시적이고 결정론적인 물리 기반 metric(L2, EPE, PVB, Shot)을 reward로 직접 활용하여 미분 불가능한 제조성 지표까지 최적화 범위를 확장한 점이 기존 optimization-based/learning-based ILT와 차별화됨
• 강화학습 샘플링 효율을 위해 shot-count 평가를 130배~490배 가속화하는 알고리즘을 별도로 설계하여 RL 학습의 실용성을 확보

Limitation & Further Study

• 발췌된 내용만으로는 GRPO의 구체적인 reward 설계(각 metric 간 가중치 조합)와 conflict 상황(예: imaging fidelity 향상 시 Shot count 증가)을 어떻게 균형 있게 처리하는지 세부 사항이 불명확함
• 다양한 technology node나 공정 조건(예: 다른 파장, 다른 mask 유형)에 대한 일반화 성능 검증이 추가로 필요해 보임
• shot-count 근사 알고리즘이 "largely preserving" 순위라고 명시되어 있어 완벽한 순위 보존이 아니므로, 근사 오차가 실제 제조 결과에 미치는 영향에 대한 추가 분석이 필요함
• rectified flow 기반 one-step transport와 SDE 기반 GRPO 탐색 간의 상호작용, 그리고 RL 학습의 안정성 및 재현성에 대한 추가적 ablation이 요구됨

Evaluation

총평: flow matching과 GRPO 강화학습을 결합해 ILT의 미분 가능·불가능 지표를 통합 최적화한 참신하고 실용적인 접근으로, 반도체 mask 최적화 분야에 의미 있는 기여를 하는 논문이다.