Geo-Expert: Towards Expert-Level Geological Reasoning via Parameter-Efficient Fine-Tuning

Motivation

• Known: 일반 목적 LLM은 표면 지리·원격탐사·GIS 분야에서는 우수한 성능을 보이지만, 지질학 도메인의 지하 구조 및 deep-time evolution 추론에서는 hallucination이 빈번하게 발생함이 알려져 있다.
• Gap: 기존 지구과학 특화 AI는 대부분 Geography Knowledge Agent나 Earth Observation 등 지표 지리 정보에 집중되어 있어, 층서·구조지질·조구조 진화 같은 심층 지질 추론을 다루는 전문 LLM과 이를 평가할 벤치마크가 부재하다.
• Why: 지질학적 추론은 지하자원 탐사, 지질재해 대응, 행성 진화 이해 등 실용적·과학적으로 중요한 영역이나, 복잡한 시공간적 관계와 방대한 전문 지식을 요구하기 때문에 범용 LLM의 한계를 극복할 도메인 특화 접근이 필요하다.
• Approach: 다섯 권의 권위 있는 지질학 교과서로부터 재현 가능한 문서-투-instruction 합성 파이프라인을 구축하여 고품질 instruction dataset을 생성하고, 이를 이용해 Qwen3-8B, Qwen3-32B, Gemma-3-27B를 LoRA로 파라미터 효율적으로 파인튜닝한다.

Achievement

1. 소형 모델의 우수성 입증: 도메인에 정렬된 8B 모델이 open-weight 70B 범용 모델과 proprietary GPT-4o를 특화된 지질학 추론 과제에서 능가함을 보였다.
2. 대형 모델의 근접 성능: 32B 변형 모델이 frontier reasoning model에 근접한 성능을 달성했다.
3. 재현 가능한 데이터 파이프라인 구축: 비정형 지질학 교과서를 11,518개의 고품질 instruction pair로 변환하는 자동화된 워크플로우를 제시했다.
4. 소비자급 GPU에서의 대형 모델 파인튜닝 실현: 4×RTX 5090 환경에서 27B+ 파라미터 모델의 파인튜닝이 가능함을 보여, 실용적인 배포 레시피를 제공했다.
5. Geo-Eval 벤치마크 구축: 지질학적 추론 능력을 평가하기 위한 새로운 도메인 특화 벤치마크를 확립했다.

How

• MinerU를 이용한 PDF-to-Markdown 고정밀 추출 및 hash 기반 전역 중복 제거를 포함한 텍스트 정제 파이프라인 구축
• Markdown 헤더 구조 기반 Chapter-Aware Recursive Chunking으로 의미론적 맥락을 보존하는 문서 분할
• LLM을 이용해 계층적 domain tree를 구성하고 domain tag와 문자 밀도 기반으로 질문을 동적으로 생성하는 Domain-Structured Question Generation
• DeepSeek-R1과 같은 reasoning 지향 teacher 모델을 활용해 source-grounded prompt로 CoT 추론 흔적과 최종 답변을 생성하고, 출처 불일치 답변은 필터링하는 Chain-of-Thought Answer Construction
• ms-swift 프레임워크와 all-linear 대상 LoRA를 사용해 Qwen3-8B(r=32, alpha=32, FP16)와 Gemma-3-27B/Qwen3-32B(r=64, alpha=128, BF16, gradient accumulation=4)에 대해 서로 다른 하이퍼파라미터 전략으로 파인튜닝 수행
• 자동화된 adversarial mining 파이프라인과 전문가 human-in-the-loop 검증을 결합해 Geo-Eval 벤치마크를 4단계 프로세스로 구축

Originality

• 지질학이라는 세부 과학 도메인에 특화된 instruction-tuning 데이터셋을 권위 있는 교과서 기반으로 재현 가능하게 구축하는 최초의 시도 중 하나로 보인다.
• 단순 fixed-length chunking이 아닌 Chapter-Aware Recursive Chunking과 domain tree 기반 질문 생성이라는 구조적 접근을 결합한 점이 독창적이다.
• source-grounded CoT 생성과 출처 일관성 필터링을 통해 hallucination을 억제하는 합성 전략이 특징적이다.
• 지질학 전용 평가를 위한 Geo-Eval 벤치마크를 adversarial mining과 human-in-the-loop 검증으로 새롭게 제안한 점이 돋보인다.

Limitation & Further Study

• 데이터 소스가 다섯 권의 교과서에 국한되어 있어 지질학의 광범위한 하위분야(예: 광물학, 지구화학, 고생물학 등)를 충분히 대표하지 못할 가능성이 있다.
• CoT 생성에 DeepSeek-R1과 같은 teacher 모델을 사용함으로써 teacher 모델 자체의 편향이나 오류가 전이될 위험이 있으며, 이에 대한 정량적 검증이 제시되지 않았다.
• 발췌 내용상 Geo-Eval 구축의 4단계 프로세스와 상세 평가 지표, 정량적 실험 결과(구체적 수치)가 충분히 제시되지 않아 성능 주장의 재현성과 신뢰도를 완전히 판단하기 어렵다.
• 향후 연구로 더 다양한 지질학 하위분야 데이터 확장, 다국어·다중 모드(지도, 지질단면도 등) 통합, 그리고 실제 현장 적용을 통한 검증이 필요할 것으로 보인다.

Evaluation

총평: 지질학이라는 특화된 과학 도메인에 대해 재현 가능한 데이터 합성 파이프라인과 파라미터 효율적 파인튜닝, 전용 벤치마크를 함께 제시한 실용적이고 의미 있는 연구로, 워크숍 규모의 초기 연구임을 감안할 때 향후 확장 가능성이 큰 baseline을 제공한다.