From Table to Cell: Attention for Better Reasoning with TABALIGN

Motivation

• Known: 테이블 추론은 단발성 semantic parsing에서 tool-use 기반 interactive agent reasoning으로 발전했고, 최근에는 자연어 plan을 먼저 생성한 뒤 tool call을 실행하는 planned reasoning이 등장했다. 또한 process reward model(PRM)은 lexical/semantic 품질이나 LLM-as-a-judge 기반 step-correctness label로 중간 상태를 평가해왔다.
• Gap: 기존 방법들은 autoregressive(AR) 좌우 순차 생성이 테이블의 permutation invariance와 충돌하는 order-sensitive prior를 강요하며, 중간 상태를 생성된 content만으로 평가해 실제로 올바른 cell에 attention이 이루어졌는지(cell grounding)를 검증하지 못한다. 즉 planning과 execution 사이에 명시적인 cell-grounding contract가 부재하다.
• Why: 테이블의 증거는 특정 cell에 국소화되어 있으므로, cell 단위의 grounding contract 없이는 plan이 그럴듯해 보여도 잘못된 cell을 타겟팅하는 오류가 누적되어 전체 추론 경로가 무너질 수 있다. 이는 shortcut matching과 faithful reasoning을 구분하지 못하는 근본적 한계로 이어지므로, 이를 해결하는 것이 신뢰할 수 있는 구조화 데이터 추론에 중요하다.
• Approach: 저자들은 DLM의 bidirectional attention이 AR 모델보다 인간과 더 정렬되고 row reordering에도 더 안정적이라는 pilot study 결과에 착안해, masked DLM planner와 attention-overlap 기반 검증기 TABATTN을 결합한 TABALIGN 프레임워크를 제안한다.

Achievement

Figure 4. Distribution of per-record σAUROC across five row permutations of the same (table, question) record, by model.

1. Cell-level attention pilot study: DLM의 bidirectional attention이 row reordering 하에서 attention-AUROC 변동성을 40.2% 중앙값으로 감소시키고, AR보다 더 인간 정렬적(human-aligned)임을 실증했다.
2. TABALIGN 프레임워크 제안: masked DLM planner가 binary cell mask로 plan step을 생성하고, TABATTN이 1,600개의 human-verified attention standard로 학습되어 각 step의 attention overlap을 점수화하는 planned reasoning 프레임워크를 구축했다.
3. 벤치마크 성능 향상: table QA와 fact verification을 아우르는 8개 벤치마크에서 비교 가능한 8B급 오픈소스 baseline 대비 평균 정확도를 15.76 percentage point 향상시켰다.
4. Matched-backbone ablation: 고정된 Qwen3-VL-8B reasoner 상에서 DLM planner가 AR planner 대비 2.87 percentage point의 성능 향상에 기여함을 분리 검증했다.
5. 추론 가속화: 더 정제된 DLM plan이 downstream reasoning execution 속도를 44.64% 가속화했다.

How

Figure 3. TABALIGN pairs a masked DLM planner with the TABATTN verifier to enforce the cell-grounding contract. The DLM

• Pilot study(Section 3)에서 row permutation 하에 AR와 DLM의 cell attention 안정성(attention-AUROC variability, σAUROC)과 human-alignment를 비교 분석
• masked DLM planner: bidirectional denoising을 통해 테이블 전역의 cell 간 상호의존성을 포착하며, 각 plan step이 [target: col] 태그로 종료되어 이를 binary cell mask m_t로 컴파일
• TABATTN verifier: 경량 모델로, 1,600개의 human-verified attention standard(8개 벤치마크에서 수집)에 fit되어 reasoner의 per-cell attention과 plan-designated mask m_t 간 overlap을 점수화
• in-loop feedback 제공 및 attention 개선이 정체될 경우 stagnation halt 적용
• reward-component ablation(Table 5(b))으로 attention-grounded reward가 content-based reward 대비 우위를 가짐을 검증
• component-level analysis(Section 5.2)로 planner 선택, reasoner backbone, attention-grounded reward 각각의 기여도를 분리하고 backbone scaling 효과를 배제

Originality

• Planning과 execution 사이의 암묵적 격차를 "cell-grounding contract"라는 명시적 개념으로 재정의하고 이를 attention overlap이라는 계측 가능한 신호로 operationalize한 점
• DLM의 bidirectional attention이 테이블의 permutation invariance와 자연스럽게 부합함을 실증적 pilot study로 최초로 규명
• 기존 PRM들이 생성된 content 품질만 평가하던 것과 달리, plan-designated cell mask와 reasoner attention 간 overlap을 직접 검증하는 TABATTN이라는 새로운 process reward 신호를 제안
• diffusion planner와 AR executor를 결합하는 planned reasoning 아이디어를 테이블 추론이라는 새로운 도메인에 적용

Limitation & Further Study

• TABATTN이 1,600개의 human-verified attention standard에 의존하는데, 이러한 라벨링 비용과 8개 벤치마크를 넘어선 일반화 가능성에 대한 추가 검증이 필요함
• attention overlap이 완전한 causal explanation이 아니라 inspectable proxy에 불과하다고 저자들도 인정하는바, attention이 실제 faithful reasoning을 완전히 보장하지 못할 가능성 존재
• 8B급 모델에 초점을 맞추고 있어 더 큰 스케일 모델이나 다른 아키텍처(예: 순수 diffusion reasoner)에 대한 확장성 검증이 부족
• 현재 프레임워크가 tool-use 기반 tabular 도메인에 특화되어 있어, 다른 구조화 데이터(그래프, 코드 등)로의 일반화 가능성은 추가 연구가 필요

Evaluation

총평: 테이블 추론에서 planning과 execution 간의 cell-grounding 격차라는 실질적 문제를 명확히 규명하고, DLM의 bidirectional attention 특성을 활용한 창의적이고 실증적으로 잘 뒷받침된 해결책을 제시한 우수한 연구이다. 다만 human-labeled standard에 대한 의존성과 더 넓은 도메인으로의 일반화 가능성은 향후 검증이 필요하다.