Evaluating AI Grading on Real-World Handwritten College Mathematics: A Large-Scale Study Toward a Benchmark

Motivation

• Known: 기존 연구들은 LLM을 활용한 손글씨 STEM 답안 채점에서 주로 점수의 신뢰성(score reliability) 검증에 초점을 맞춰왔으며, 소규모 또는 통제된 환경에서의 실험이 대부분이었다.
• Gap: 실제 대규모 강좌(course-scale) 환경에서 수천 명 규모의 손글씨 자유서술형 답안에 대해 채점 정확도뿐 아니라 피드백 품질까지 함께 평가한 연구는 부재했으며, 단일 ground-truth 라벨이 없는 상황에서 AI 채점 시스템의 신뢰성을 어떻게 평가할지에 대한 체계적 프로토콜도 마련되어 있지 않았다.
• Why: 대형 강의(large-enrollment) 미적분학과 같은 게이트웨이 STEM 과목은 매년 수만 명의 학생에게 영향을 미치며, TA의 채점 부담 경감과 개인화된 피드백 제공은 교육 형평성과 학습 효과에 직결되는 중요한 문제이다. 또한 ground-truth 없이 noisy input과 partial-credit 채점을 다뤄야 하는 LLM 기반 추론 시스템의 신뢰성 평가는 고위험(high-stakes) 실배포 상황에서 중요한 미해결 ML 문제이다.
• Approach: OCR로 손글씨 답안을 LaTeX로 변환한 뒤, 구조화된 rubric-guided prompting을 적용한 LLM(GPT-4.1-mini, 보조적으로 o3-mini)을 사용해 채점 및 형성적 피드백을 생성하는 3단계 파이프라인(영역 분할, OCR-to-LaTeX 변환, rubric 기반 LLM 채점)을 UC Irvine의 대규모 미적분학 강좌(Math 2A/2B)에 3개 학기에 걸쳐 배포하였다.

Achievement

Figure 3. Global distribution of AI–TA score gaps.

1. 대규모 실배포: 20개의 대면 proctored 퀴즈, 거의 800명의 학생, 수천 건의 자유서술형 손글씨 답안에 대해 OCR+LLM 채점 시스템을 실제 학점 반영 강좌에 배포하여 시행하였다.
2. TA 점수와의 높은 정합성: AI 채점 점수가 공식 TA 채점과 강한 일치를 보였으며(Figure 3), 다수의 AI 피드백이 독립 리뷰어에 의해 정확 또는 수용 가능(correct or acceptable)한 것으로 평가되었다.
3. 다각도 평가 프로토콜 도입: TA 점수 정합, 학생 설문, 20명 이상의 독립 인간 리뷰어를 결합한 multi-perspective 평가 체계를 제시하여 ground-truth가 없는 상황에서도 신뢰성 있는 평가가 가능함을 보였다.
4. 실패 모드 분석 및 설계 원칙 제안: OCR 오류와 rubric 엣지 케이스에 집중된 주요 실패 패턴을 분석하고, 이를 바탕으로 실용적인 rubric·prompt 설계 원칙을 제시하였다.
5. 미래 벤치마크의 토대 마련: 익명화된 손글씨 답안, OCR 결과, 튜닝된 rubric, AI 채점·피드백, 인간 리뷰 결과를 포함한 대규모 데이터셋을 구축하여 향후 Track A(clean)와 Track B(noisy) 두 트랙의 표준 벤치마크 공개를 위한 기반을 마련하였다.

How

Figure 2. Bars correspond to the flexible rubric, fixed rubric and

• 답안지를 표준화된 형식(solution region과 final-answer region 분리)으로 구성하여 문제별로 독립적으로 처리, cross-problem interference와 hallucination을 줄임.
• OCR 단계: GPT-4.1-mini와 잘 설계된 prompt를 결합해 손글씨를 LaTeX로 변환, 정확도·확장성·비용 간 trade-off를 최적화.
• Rubric-guided prompting: 시스템 수준의 global grading principle을 제공하는 system message와 문제별 rubric(채점 기준, 피드백 기준, 출력 형식, 예시 해답 포함)을 구조화된 prompt로 인코딩하는 2단계 prompt 설계 사용, flexible rubric과 fixed rubric을 병행하는 multi-rubric 전략 채택.
• LLM 채점: 주로 GPT-4.1-mini를 사용하고 대수 연산이 까다로운 일부 케이스에는 o3-mini를 보조적으로 사용하여 점수와 설명적 피드백을 함께 생성.
• 평가: Spring 2025 학기의 free-response 문제(760명 이상)를 중심으로 AI 점수를 TA 점수와 비교(Figure 3), OCR 결과를 검증(Figure 4), 20명 이상의 독립 리뷰어가 AI-Reviewer 점수 격차를 평가(Figure 5)하는 방식으로 다각도 검증 수행.
• Prompt와 rubric은 failure-case 분석을 통해 반복적으로 개선(iterative refinement).

Originality

• 통제된 실험실 환경이 아닌 실제 대학 강좌에서 수천 건의 진짜 손글씨 답안을 대상으로 한 최초 수준의 대규모 실증 연구라는 점에서 독창적이다.
• 단일 ground-truth가 없는 채점 문제에 대해 TA 점수, 학생 설문, 20명 이상의 독립 리뷰어를 결합한 multi-perspective 평가 프로토콜을 새롭게 제안하였다.
• 점수 신뢰성뿐 아니라 형성적 피드백의 품질까지 평가 대상으로 포함시켜, 기존 연구들이 주로 다루던 score reliability 중심 평가를 확장하였다.
• Track A(clean)/Track B(noisy) 이원 구조의 미래 벤치마크 설계를 제안하여 OCR robustness와 human-review deferral 문제를 함께 다루는 프레임워크를 제시하였다.

Limitation & Further Study

• 단일 대학(UC Irvine)의 단일변수 미적분학 과목에 국한된 연구로, 다른 STEM 과목이나 기관으로의 일반화 가능성은 추가 검증이 필요하다.
• 벤치마크 자체는 아직 공개되지 않았으며, Track A/B 데이터셋 릴리스는 향후 과제로 남아있어 재현성 검증이 제한적이다.
• 모델 비교는 GPT-4.1-mini와 o3-mini에 국한되어 있으며, 체계적인 cross-model 비교나 routing policy는 향후 연구로 미뤄졌다.
• OCR 실패와 rubric 엣지 케이스가 여전히 주요 오류원으로 남아있어, 특히 noisy handwriting에 대한 강건성 개선이 필요하다.
• 인간 리뷰어 20여 명의 평가에 의존하는데, 리뷰어 간 합의도(inter-rater reliability)에 대한 정량적 분석이 충분히 제시되었는지 추가 확인이 필요하다.

Evaluation

총평: 실제 대규모 강좌 환경에서 AI 채점 시스템을 실증적으로 검증한 보기 드문 연구로, ground-truth 부재 상황에서의 다각도 평가 프로토콜 제안이 특히 가치 있으며 향후 표준 벤치마크로의 발전 가능성을 보여준다.