Are Non-BPE Tokenizers Ready to Improve LLM Numeracy?

Motivation

• Known: LLM은 기본 사칙연산과 같은 산술 작업에서 지속적으로 낮은 성능을 보이며, 이를 해결하기 위해 주로 tool use나 reasoning chain 같은 우회적 전략이 연구되어 왔다. 또한 BPE tokenization이 숫자를 임의로 분할하여 문자 단위 정보를 흐리게 만들어 numeracy의 병목이 된다는 점은 tokenization 커뮤니티에서 널리 인식되고 있다.
• Gap: 기존 연구들은 tokenizer 혁신(CTD, specialized number encoding, byte-level LLM)이 산술 성능에 미치는 영향을 개별적으로만 다루었고, 이들이 자연어(NL) 능력을 얼마나 희생시키는지에 대한 체계적·통합적 평가가 없었으며, 산술과 NL을 동시에 고려하는 평가 프로토콜도 부재했다.
• Why: Tokenization은 tool use나 reasoning chain과 달리 LLM numeracy의 근본적 한계를 직접 다루는 접근법이지만, 실제로 그 효과가 검증되지 않은 채 여러 대안이 제안되고 있어, arithmetic과 NL 능력 간 trade-off를 명확히 규명하는 것은 향후 tokenizer 설계 방향을 결정하는 데 중요하다.
• Approach: 고정된 BPE baseline 위에서 CTD, specialized number encoding(<num> 토큰), byte-level LLM 세 가지 tokenizer 혁신을 비교하며, explicit·implicit 방식의 산술 문제를 모두 요구하는 TARITHEVAL 평가 프로토콜과 일반 NL 평가를 함께 구축하여 arithmetic-NL Pareto frontier 관점에서 성능을 분석한다.

Achievement

Figure 4. Arithmetic accuracy vs. natural-language accuracy before

1. 최초의 체계적 리뷰: tokenizer 혁신들을 산술(arithmetic) 과제 맥락에서 체계적으로 검토한 첫 연구로, CTD, specialized number encoding, byte-level LLM을 동일한 평가 축에서 비교했다.
2. TARITHEVAL 데이터셋 구축: 자연어 비중이 Tier 1에서 Tier 3로 단계적으로 증가하는 3단계 산술 평가 스위트를 설계하여, 산술 능력이 NL 맥락에서도 유지되는지를 explicit·implicit 방식으로 평가할 수 있게 했다.
3. 실증적 반증: 실험을 통해 현재의 non-BPE 대안들 중 어느 것도 arithmetic-NL Pareto frontier에서 BPE를 안정적으로 능가하지 못함을 보였다. 구체적으로 CTD는 digit chunking을 세밀화하면 산술 성능은 개선되지만 효율성(토큰 수)이 저하되고, specialized number encoding은 산술에서는 인상적이나 NL 성능에서 BPE에 미치지 못하며, byte-level LLM은 두 지표 모두에서 BPE를 넘지 못했다.
4. 향후 방향 제시: 실험 결과를 바탕으로 tokenization 연구의 향후 가능한 방향을 논의했다.

How

Figure 1. Visualization of four tokenization strategies given an example string.

• Cross-Tokenizer Distillation (CTD): 고정된 teacher 모델과 target vocabulary를 가진 student 모델 간 ULD(Universal Logit Distillation) 또는 ALM(approximate likelihood matching) 같은 tokenizer-agnostic 정렬 방식을 사용해, 동일 LLM 하에서 multi-digit numeric token 제거/유지 등 다양한 digit chunking 전략을 통제된 방식으로 비교
• Specialized Number Encoding: FoNE와 같이 숫자를 Fourier feature로 표현하는 <num> 토큰 기반 별도 LLM head를 적용하여 숫자를 기존 embedding matrix 대신 새로운 방식으로 인코딩/디코딩
• Byte-level LLM: UTF-8 byte(|V|=256)를 vocabulary로 사용하고, local encoder-boundary pooling-global transformer-local decoder로 구성된 hierarchical/latent transformer 구조(Bolmo, BLT 등)를 채택하여 시퀀스 길이 문제를 완화
• 평가 프로토콜(TARITHEVAL): Tier 1(순수 연산식), Tier 2(NumericBench 기반 함수형 질의), Tier 3(GSM8K, MultiArith 기반 서술형 문제)로 구성된 3단계 산술 평가와, 별도의 일반 자연어 능력 평가를 결합해 arithmetic accuracy와 NL accuracy를 동시에 측정하고 Pareto frontier로 시각화

Originality

• 기존에는 개별적으로 제안·평가되던 CTD, specialized number encoding, byte-level LLM을 하나의 통일된 arithmetic-NL trade-off 관점(Pareto frontier)에서 비교한 최초의 체계적 시도
• 순수 산술 연산부터 서술형 문제까지 자연어 비중을 단계적으로 증가시키는 tiered 평가 프로토콜(TARITHEVAL)을 새롭게 설계하여 explicit·implicit 산술 능력을 모두 포착
• tokenization이 numeracy 개선의 근본적 해법이 될 수 있는지에 대해, tool use/reasoning chain 우회 전략과 대비되는 직접적 개입 방식으로서의 실효성을 실증적으로 검증

Limitation & Further Study

• 발췌 내용상 실험 대상 모델과 데이터셋 규모, 구체적 정량 결과(수치)가 충분히 제시되지 않아 결론의 일반화 가능성을 판단하기 어려움
• pre-trained(base) 모델로 평가를 제한했다고 명시했는데, instruction-tuned 모델이나 실제 서비스 환경에서의 성능 차이는 다룰 여지가 있음
• CTD, specialized number encoding, byte-level LLM 각각의 학습 조건(distillation 강도, 학습 데이터 양 등)이 공정하게 통제되었는지에 대한 세부 검증이 추가로 필요
• 향후 연구로는 산술과 NL을 동시에 개선할 수 있는 하이브리드 tokenization 전략이나, 학습 스케일을 키운 경우의 trade-off 변화를 탐구할 필요가 있음

Evaluation

총평: Tokenization을 통한 LLM numeracy 개선이라는 유망하지만 검증되지 않았던 방향에 대해 체계적이고 공정한 실증 평가를 최초로 수행했다는 점에서 학술적 기여가 크며, "현재의 non-BPE 대안이 아직 준비되지 않았다"는 반직관적이면서도 중요한 결론을 제시한 의미 있는 워크숍 논문이다.