表-R1: 表推論における推論時のスケーリング

Table-R1: Inference-Time Scaling for Table Reasoning

May 29, 2025

著者: Zheyuan Yang, Lyuhao Chen, Arman Cohan, Yilun Zhao

cs.AI

要旨

本研究では、表推論タスクにおける推論時のスケーリングを探索する初の研究を提示します。我々は、推論時のスケーリングを可能にする2つのポストトレーニング戦略を開発し評価しました。1つはフロンティアモデルの推論トレースからの蒸留、もう1つは検証可能な報酬を用いた強化学習（RLVR）です。蒸留に関しては、DeepSeek-R1によって生成された大規模な推論トレースデータセットを導入し、これを用いてLLMをTable-R1-SFTモデルにファインチューニングしました。RLVRに関しては、タスク固有の検証可能な報酬関数を提案し、GRPOアルゴリズムを適用してTable-R1-Zeroモデルを取得しました。我々のTable-R1シリーズモデルを、短形式QA、事実検証、自由形式QAなど多様な表推論タスクで評価しました。特に、Table-R1-Zeroモデルは、7BパラメータのLLMのみを使用しながら、GPT-4.1およびDeepSeek-R1の性能に匹敵またはそれを上回りました。また、ドメイン外データセットへの強い汎化能力も示しました。広範なアブレーションおよび定性分析により、指示チューニング、モデルアーキテクチャの選択、クロスタスク汎化の利点、およびRLトレーニング中に本質的な表推論スキルが出現することが明らかになりました。

English

In this work, we present the first study to explore inference-time scaling on table reasoning tasks. We develop and evaluate two post-training strategies to enable inference-time scaling: distillation from frontier model reasoning traces and reinforcement learning with verifiable rewards (RLVR). For distillation, we introduce a large-scale dataset of reasoning traces generated by DeepSeek-R1, which we use to fine-tune LLMs into the Table-R1-SFT model. For RLVR, we propose task-specific verifiable reward functions and apply the GRPO algorithm to obtain the Table-R1-Zero model. We evaluate our Table-R1-series models across diverse table reasoning tasks, including short-form QA, fact verification, and free-form QA. Notably, the Table-R1-Zero model matches or exceeds the performance of GPT-4.1 and DeepSeek-R1, while using only a 7B-parameter LLM. It also demonstrates strong generalization to out-of-domain datasets. Extensive ablation and qualitative analyses reveal the benefits of instruction tuning, model architecture choices, and cross-task generalization, as well as emergence of essential table reasoning skills during RL training.