MatDeplot: Agent-Ready Materials-Curve Understanding for Scientific Reasoning

Motivation

• Known: 기존 chart-QA benchmark들은 chart에 대한 질의응답 능력만 측정하고, chart-derendering/plot-to-table 계열 연구는 bar/pie/짧은 line chart를 대상으로 curve당 약 10개 (x, y) pair만 truncate하여 복원한다. 또한 hosted VLM들은 자연어 인터페이스로 chart를 읽는 것이 사실상 표준이 되어 있다.
• Gap: 기존 방법들은 dense한 XRD/Raman spectra 같은 materials-science line plot에서 polyline을 거의 복원하지 못하며(zero polylines), hosted VLM들은 curve morphology는 잘 인식하지만 ground-truth rasterisation 대비 IoU≥0.5를 달성하는 예측이 최대 1.2%에 불과해 pixel-level grounding이 완전히 결여되어 있다는 것이 정량적으로 밝혀지지 않았다.
• Why: scientific agent가 논문의 line plot으로부터 XRD peak, GCD capacity, CV redox feature 등 정량적 근거를 신뢰성 있게 추출해 interpolation·integration·비교 등을 수행하려면 chart image를 그대로 reasoning에 사용하는 대신 pixel-faithful한 구조화 데이터로 먼저 재구성해야 한다는 것을 보여주기 때문에 중요하다.
• Approach: PDF에서 subfigure를 추출·분류한 뒤, line-chart panel에 대해 axis calibration, legend/clutter masking, Mask2Former 기반 foreground segmentation, k-means 기반 curve separation, polyline extraction을 순차 수행하는 6-cell local pipeline(MatDeplot)을 설계하고, 이를 대규모 corpus 분석과 신규 benchmark(MatCurvs-204, MatCurvs-Reasoning)로 검증한다.

Achievement

Figure 1. MatDeplot’s three-stage pipeline. Stage 1 parses the PDF and crops every panel of multi-panel composite figure

1. 대규모 실증 분석: 55,763편 논문에서 1,375,165개 subfigure와 657,428개 line-plot panel을 추출하여 line plot이 materials-science 정량 정보의 주요 매체임을 보이고, hosted VLM의 curve prediction이 IoU≥0.5 기준 최대 1.2%에 불과함을 정량화했다.
2. MatDeplot 파이프라인: YOLO11 기반 axis/legend detection, Mask2Former-q12 foreground segmentation, foreground-fraction fallback, 5D LAB-xy k-means curve separator, per-curve abstain channel로 구성된 local pipeline을 제안하여 MatCurvs-204에서 curve-level IoU success 45.8%를 달성, 가장 강력한 hosted VLM 대비 38배 개선하면서 이미지당 1.5초, $0.012 비용으로 처리했다.
3. downstream reasoning 개선 입증: MatCurvs-Reasoning(14,740개 질문)에서 MatDeplot으로 추출한 curve를 사용한 LLM이 median relative error 4.2%를 기록, chart image를 직접 읽는 VLM(54.3%) 대비 크게 개선되었고, 수작업 검증 subset에서 GPT-5.4가 15.4%에서 4.6%로 개선되어 deterministic scipy oracle에 근접했다.

How

Figure 1. MatDeplot’s three-stage pipeline. Stage 1 parses the PDF and crops every panel of multi-panel composite figure

• Stage 1 (subfigure detection): MinerU로 PDF를 파싱하고 YOLOv11x detector(mAP50:95=0.932)로 panel을 crop.
• Stage 2 (subfigure classification): qwen-vl-max 기반 chain-of-thought multimodal-LLM classifier로 6개 chart type × 3×10 characterisation taxonomy에 라우팅(94.5% 정확도).
• Stage 3 (line-chart reading, core): 6개 cell로 구성됨.
  • Cell 1: YOLO11 axis detector + least-squares affine calibration(C: pixel→data units).
  • Cell 2: YOLO11 legend/clutter detector로 legend swatch와 annotation을 masking.
  • Cell 3: Mask2Former(q=12, d=3, h=256) foreground head가 multi-scale에서 soft foreground map을 산출 후 binarise(θfg=0.25).
  • Cell 4: foreground fraction ρ(F)가 임계값 미만이면(τfg=0.003) non-Otsu-white interior clustering으로 fallback.
  • Cell 5: 5D LAB-xy feature(ϕ(u,v))에 대해 k-means(k는 Gemini-3.1-pro 호출로 결정)로 curve를 분리하고 morphological refinement 적용.
  • Cell 6: 각 cluster를 skeletonise하여 polyline 추출, affine C로 실좌표 변환, per-curve confidence ci 기반 abstain(τabs=0.30) 처리.
• 평가: MatCurvs-204(n=90 SHA-256 hash-disjoint leakage-clean holdout)에서 curve-level line-recall metric LRθ로 DePlot, OneChart, DeepLabV3+/ResNeSt, UNet++/ResNeSt, 4개 hosted VLM과 비교.

Originality

• chart-QA나 chart-to-table 위주였던 기존 연구와 달리, dense scientific line plot(XRD, Raman, GCD, CV, EIS)을 대상으로 pixel-anchored curve 복원이라는 새로운 문제 설정과 curve-level line-recall metric(LRθ)을 제안함.
• axis calibration, legend masking, segmentation, LAB-xy k-means separation, abstention을 하나의 local 파이프라인으로 결합한 모듈형 설계가 독창적이며, foreground-fraction 기반 fallback trigger로 dense-scatter 상황에서도 non-empty output을 보장하는 실용적 장치를 도입함.
• chart 복원을 단순 전처리가 아니라 scientific reasoning의 "load-bearing transformation"으로 재정의하고, 이를 downstream LLM reasoning 정확도 개선으로 직접 검증한 점이 새롭다.

Limitation & Further Study

• k값 결정을 Gemini-3.1-pro API 호출에 의존하고 있어(83.3% exact match) 완전한 local pipeline이라 보기 어렵고, 오류 시 curve 개수 오분류가 전체 파이프라인 성능에 영향을 줄 수 있음.
• MatCurvs-204/n=90 holdout이라는 비교적 작은 규모의 benchmark로 검증되었고, code·benchmark·evaluator가 "upon reasonable request"로만 제공되어 재현성과 커뮤니티 검증이 제한적임.
• LR0.5=45.8%도 절대적으로 낮은 수치이며, 여전히 절반 이상의 curve가 실패하는데 이러한 실패 사례의 특성(예: 곡선 교차, 저대비 색상)에 대한 세부 분석이 부족함.
• 후속 연구로는 fully local k 추정 모델 개발, 더 큰 규모의 multi-domain benchmark 확장, 실패 사례에 대한 오류 유형 분석이 필요해 보임.

Evaluation

총평: materials-science line plot의 pixel-level grounding 실패를 대규모로 정량화하고 이를 해결하는 실용적 local pipeline과 신규 benchmark를 함께 제시한 점에서 scientific AI agent 연구에 실질적 기여를 하는 논문이나, k-value 추정의 외부 API 의존과 code/benchmark 공개 제한은 재현성 측면에서 아쉬움으로 남는다.