Figgen: Text to scientific figure generation

Motivation

Known: 최근 생성형 모델(GAN, 확산 모델)은 자연 이미지와 예술 생성에서 놀라운 성과를 달성했으며, 조건부 이미지 생성 기법들이 발전했다.
Gap: 기존 텍스트-이미지 생성 연구는 자연 이미지 도메인에 집중되어 있으며, 과학 도형과 같은 특화된 영역은 미개척 상태이다.
Why: 자동화된 과학 도형 생성은 연구자들의 시간과 노력을 절감할 수 있고, 접근성 높은 시각화를 통해 더 넓은 청중에게 연구 성과를 전달할 수 있다. 또한 이산적 그래픽 도메인에서의 생성 능력 탐색은 학문적 가치가 높다.
Approach: Paper2Fig100k 데이터셋(논문-도형 쌍 81,194개)을 활용하여 잠재 확산 모델(latent diffusion model)을 훈련하고, 텍스트-도형 간 관계 학습을 시도한다.

Figure 2: 다양한 Classifier-Free Guidance(CFG) 스케일에서 생성된 FigGenBase 샘플들

새로운 문제 정의: 텍스트-과학 도형 생성(text-to-figure generation)을 명확히 정의하고 주요 도전과제(텍스트 길이 가변성, 다양한 도형 스타일, 종횡비 변화, 텍스트 렌더링 품질)를 식별했다.
모델 및 데이터셋 공개: 코드와 사전 훈련된 모델을 GitHub에 공개하여 커뮤니티의 추가 연구를 지원한다.
기초 모델 구현: 세 가지 규모의 모델(866M, 942M, 1.2B 파라미터)을 구현하고, 더 큰 텍스트 인코더(128-레이어 BERT)가 더 나은 성능을 제공함을 확인했다(FID: 281.25, CFG=5.0).

이미지 인코더(Image Autoencoder):
- 픽셀 공간을 압축된 잠재 표현(latent space)으로 투영 (downsampling factor f=8)
- KL 손실, VGG 지각 손실(perceptual loss), OCR 지각 손실 조합으로 학습
- VQGAN의 적대적 절차(adversarial procedure) 적용으로 복원 품질 향상
텍스트 인코더(Text Encoder):
- 기존 일반 목적 텍스트 인코더(CLIP 등)는 기술 문서 도메인 갭이 크므로, BERT를 확산 모델 훈련 중에 동시에 학습
- 임베딩 채널 크기 512, 교차-주의 계층(cross-attention layers)으로 U-Net 조건화
확산 모델(Latent Diffusion Model):
- U-Net 아키텍처로 잠재 공간에서 직접 확산 수행
- 1000 단계의 선형 노이즈 스케줄(linear noise schedule)
- 생성 시 DDIM 샘플러 200 단계 사용
- Classifier-Free Guidance(CFG) 스케일 1.0~10.0으로 조건화 강도 조절
데이터 전처리:
- 극단적 종횡비 변화 문제 해결을 위해 흰색 패딩 적용
- 종횡비 0.5~2 범위 내 이미지만 선택 (37,613 훈련, 9,506 검증)
- 512×512로 처리 후 64×64로 다운샘플링

생성 품질 부족: 저자들이 명시적으로 언급했듯이, 현재 생성된 도형들은 실제 연구자 사용에는 아직 준비되지 않은 수준이다(FID 282~302).
텍스트-이미지 정렬 미흡: 기술 용어의 복잡성과 다양한 표현으로 인해 텍스트 설명과 시각 표현의 정렬이 불충분하다.
평가 지표 부재: 이산적 객체의 생성 모델에 적합한 검증 지표와 손실 함수 설계가 필요하다. 기존의 FID, IS, KID 등은 자연 이미지용으로 설계되어 도형 생성 평가에 최적이 아니다.
텍스트 렌더링: 도형 내 텍스트의 정확한 렌더링(글꼴, 크기, 방향, 위치)이 여전한 도전과제이다.
후속 연구 방향:
- 더 큰 규모의 데이터셋 확보 및 다양한 논문 분야 포괄
- 그래프 신경망(GNN) 등 구조화된 정보 모델링 기법 탐색
- 도형별 특화 모델 개발(그래프 vs. 아키텍처 vs. 테이블)
- 가짜 논문 생성 방지를 위한 탐지 및 워터마크 기술 개발