BioDimBench: Verifying Unit-Consistent Biomedical Mathematical Reasoning

Motivation

• Known: GSM8K, MATH 등 기존 수학 추론 벤치마크는 최종 scalar answer 일치 여부로 정답성을 평가하며, learned verifier나 process-supervised 방법들도 대체로 numeric 정확도에 초점을 맞춘다. VerityMath 등 일부 연구는 unit consistency를 fine-tuning 목적으로 다루었고, pint, sympy.physics.units 같은 라이브러리는 코드 실행 시 단위를 추적한다.
• Gap: 기존 벤치마크들은 scalar 값만 일치하면 정답으로 간주하기 때문에, dosage나 dilution처럼 단위가 물리적 의미를 결정짓는 생의학 계산에서 단위가 틀린 답(예: 560 mg를 560 mL로 표기)을 정답으로 잘못 수용하는 검증 공백이 존재한다. 또한 unit 검증을 post-hoc 검증 문제로서 free-text 후보 해에 대해 체계적으로 평가한 연구는 부재했다.
• Why: 과학적 에이전트가 실제 임상·실험 환경에서 산출한 계산값을 그대로 신뢰할 경우 dimensionally invalid한 답(다른 물리적 대상)이 안전성과 직결된 심각한 오류로 이어질 수 있어, 단위를 1급 오류 유형으로 다루는 검증 계층이 중요하다.
• Approach: 저자들은 dosage, dilution, cell count 등 10개 생의학 계산 카테고리에 대한 템플릿 기반 문제와 정확한 numeric·unit 정답을 생성하고, arithmetic/formula/unit/conversion/plausible-scalar wrong-unit의 5가지 오류를 주입한 corrupted 후보 해를 만들어, unit을 수학적 type으로 취급하는 dimensional type-checking 검증 프레임워크로 answer-only, unit-only, numeric+unit, step-aware, learned 검증법을 비교 평가한다.

Achievement

Figure 1. Left: Invalid-solution recall by verifier. ANSWERONLY

1. 검증 공백 정량화: 500개 문제·3,000개 후보 해에 대해 answer-only 검증이 invalid recall 0.600, invalid F1 0.750에 그쳐 다수의 dimensionally invalid 해를 통과시킴을 보였다.
2. 완전 탐지 검증법 제시: Numeric+Unit 및 step-aware 검증이 invalid recall 1.000, invalid F1 1.000을 달성하여, wrong-unit 및 plausible-scalar wrong-unit을 포함한 모든 corruption 카테고리를 탐지했다.
3. 경량·재현 가능한 벤치마크: 5개 corruption 유형이 직교적 실패 모드(스칼라, 관계식, 차원 구조)를 포괄하도록 설계되었고, 50/200개 문제 서브셋에서도 동일한 분류 결과가 나와 스케일에 무관하게 안정적임을 검증했다.

How

• 10개 생의학 계산 카테고리(dosage, dilution, cell count, half-life decay, exponential growth, flow rate, imaging scale area, bioink w/v, molarity, unit conversion)에 대해 카테고리당 약 50개씩 총 500개 base 문제를 랜덤 파라미터로 생성
• 각 정답 solution에 대해 5가지 corruption(무작위 배수 곱셈에 의한 arithmetic error, 관계식 역전에 의한 formula inversion, 차원 비호환 대체 unit, 고정 배수 누락에 의한 missing conversion, 정확한 scalar에 잘못된 unit을 부착하는 plausible-scalar wrong-unit)을 자동 생성하여 3,000개 후보 해 확보
• unit을 quantity에 부착된 type으로 취급하여 곱셈·나눗셈·덧셈·뺄셈·변환 연산의 type 호환성을 검사하는 dimensional type-checking 도입
• answer-only, unit-only, numeric+unit, step-aware, learned verifier 등 여러 검증 baseline을 invalid recall 및 invalid F1으로 비교 평가

Originality

• scalar-correct하지만 dimensionally invalid한 해를 탐지하는 문제를 post-hoc 검증 과제로 명시적으로 프레이밍한 점이 VerityMath(생성 시 fine-tuning 목표) 등 기존 연구와 차별화됨
• plausible-scalar wrong-unit이라는 scalar-only checking의 맹점을 정면으로 겨냥하는 corruption 유형을 설계하여 벤치마크의 진단력을 극대화
• unit을 수학적 type으로 취급하는 dimensional type-checking을 training-free, 해석 가능한 검증 계층으로 제안, 학습된 reward model 없이도 이진 유효성 신호를 부여

Limitation & Further Study

• 벤치마크가 전적으로 template 기반 합성 데이터로 구성되어 있어 실제 LLM이나 과학 에이전트가 생성한 자유 형식 해답에 대한 일반화 가능성이 제한적임
• 10개 카테고리로 도메인 범위가 좁아 더 복잡한 다단계 생의학 추론이나 비수치적 오류에는 적용되지 않을 수 있음
• corruption 유형이 5가지로 인위적으로 정의되어 있어 실제 모델이 저지르는 오류 분포와 다를 수 있으며, 이에 대한 실증적 검증(실제 LLM 출력 대상 평가)이 부족함
• 후속 연구로는 실제 LLM이 생성한 자유 형식 생의학 계산 답변에 대해 dimensional type-checker를 적용하고, 더 넓은 과학 도메인(화학, 물리 등)으로 확장하는 방향이 필요함

Evaluation

총평: scalar 정확도만으로는 생의학 계산의 타당성을 보장할 수 없다는 실질적이고 중요한 문제를 명확한 실험 설계로 진단한 견실한 연구이나, 합성 벤치마크에 머물러 실제 모델 출력에 대한 검증이 추가되면 임팩트가 더 커질 것이다.