Rethinking Genomic Modeling Through Optical Character Recognition

Motivation

• Known: 기존 genomic foundation model들은 LLM 아키텍처를 차용해 DNA를 A/T/C/G 알파벳의 1차원 token sequence로 취급하며, masked language modeling, autoregressive modeling, sparse/linear attention, memory 기반 메커니즘 등으로 긴 서열을 처리해왔다.
• Gap: 유전체 기능은 희소하고 불연속적으로 분포하는데, 순차적 exhaustive reading은 저정보 background에 계산을 낭비하고, region-level grounding/retrieval 같은 좌표 기반 연산이 positional embedding에 암묵적으로만 인코딩되어 이해 기반의 고압축(understanding-driven compression)을 수행하지 못한다는 한계가 있다.
• Why: DNA를 좌표 인덱스 기반 객체로 재구성하고 region localization/retrieval을 1급 연산으로 승격시키면, 긴 유전체 서열에서 효율성과 해석가능성을 동시에 확보하면서도 성능을 개선할 수 있어, 유전체 모델링 패러다임 자체를 재고할 수 있는 중요한 시도이다.
• Approach: 유전체 서열을 multi-page 문서 형태의 구조화된 시각적 레이아웃으로 렌더링하고, visual DNA encoder와 document decoder로 구성된 OCR-capable vision-language model을 학습시켜 reading, region grounding, subsequence retrieval, masked span completion 등 genomic primitive에 대한 prompt-conditioned objective를 정의한다.

Achievement

Figure 1. From sequential reading to selective genomic scanning. (a) Sparse, discontinuous genomic signals make sequenti

1. 패러다임 전환: genomic sequence modeling을 OCR 스타일의 document understanding 문제로 재정의한 최초의 프레임워크(OpticalDNA)를 제안했다.
2. 효율적 압축: 최대 450k bases 서열에서 약 20배 적은 effective token으로 최고 성능을 달성하여, 이해 기반 압축이 실제로 작동함을 입증했다.
3. 파라미터 효율성: 최대 985배 더 많은 activated parameter를 가진 모델들을 능가하면서도 단 256k개의 trainable parameter만 튜닝했다.
4. 정합성 검증: OCR의 grounding, retrieval, span completion이 각각 variant localization, subsequence retrieval, missing-interval inference와 자연스럽게 대응됨을 보이고, 이를 활용한 6가지 OCR-inspired task를 설계했다.
5. 경험적 우위 확인: 2D CNN backbone이 1D CNN baseline보다 accuracy-efficiency trade-off에서 명확히 우수함을 eQTL 예측 등에서 controlled comparison으로 확인했다(Fig. 1c).

How

Figure 2. Overview of OpticalDNA. (a) Render a 1D genomic sequence into a multi-page DNA document with bounding-box anno

• 유전체 서열 S=(s1,...,sN)을 P개의 page로 이루어진 구조화된 multi-page DNA document D(S)로 렌더링
• interval-to-region mapping Φ: (i,j) → bij 및 역매핑 Φ^-1을 정의하여 좌표 인덱스 기반 reasoning을 지원
• 각 region은 bounding box bij=[img_id, x1,y1,x2,y2] 형태로 표현되어 page index와 픽셀 좌표를 인코딩
• visual DNA encoder가 compact하고 reconstructible한 visual token을 생성하여 고품질 압축 수행
• document decoder(OCR-capable VLM 기반)가 reading, region grounding, subsequence retrieval, masked span completion 등 4가지 core genomic primitive에 대한 prompt-conditioned objective로 학습
• 6개의 OCR-inspired task를 실제 유전체 분석 워크플로우(variant localization, subsequence retrieval, missing-interval inference 등)에 맞춰 설계
• DNALONGBENCH 등 다양한 genomic benchmark에서 ablation 및 Grad-CAM 시각화를 통해 multi-page fusion과 렌더링 견고성을 검증

Originality

• DNA 서열 모델링을 순수 sequence-based가 아닌 vision 기반 OCR-style document understanding 문제로 재정의한 최초의 시도
• 1D token stream 대신 2D 구조화된 레이아웃으로 렌더링하여 discontinuous long-range dependency를 spatial structure로 변환하는 새로운 표현 방식 제안
• region grounding, retrieval, completion 등 OCR primitive와 variant localization, subsequence retrieval, missing-interval inference 같은 실제 genomic operation 간의 대응관계를 발견하고 이를 학습 목표로 구체화
• reconstructible visual token을 통한 understanding-driven compression 개념을 유전체 모델링에 최초로 적용

Limitation & Further Study

• 발췌된 본문에서는 실험 세부사항(구체적 benchmark 종류, baseline 비교 표 등)이 충분히 제시되지 않아 정량적 성능 우위의 통계적 견고성을 판단하기 어려움
• 렌더링 방식(어떤 규칙으로 서열을 이미지 레이아웃으로 변환하는지)의 임의성이나 서열 길이·구조 변화에 따른 렌더링 robustness(Fig. 5)에 대한 심층 분석이 더 필요해 보임
• OCR 기반 vision-language model의 pretraining 편향이 유전체 특유의 통계적 패턴(GC content, repeat 구조 등)과 잘 맞는지에 대한 추가 검증이 필요
• 후속 연구로 다양한 종(species) 및 다양한 downstream task(예: variant effect prediction, epigenomic assay)에 대한 일반화 검증, 그리고 렌더링 설계 선택에 대한 체계적 ablation이 요구됨

Evaluation

총평: DNA를 이미지 문서로 취급하고 OCR 기법을 적용한다는 발상은 매우 독창적이며 효율성과 성능 면에서 설득력 있는 결과를 보여주지만, 렌더링 설계의 일반화 가능성과 세부 실험적 근거에 대한 추가 검증이 뒷받침되면 더욱 견고한 기여가 될 것이다.