Tabel-R1: Schalen tijdens Inferentie voor Tabelredenering

Table-R1: Inference-Time Scaling for Table Reasoning

May 29, 2025

Auteurs: Zheyuan Yang, Lyuhao Chen, Arman Cohan, Yilun Zhao

cs.AI

Samenvatting

In dit werk presenteren we de eerste studie die inference-time scaling onderzoekt voor tabelredeneertaken. We ontwikkelen en evalueren twee post-trainingsstrategieën om inference-time scaling mogelijk te maken: distillatie van redeneersporen van frontiermodellen en reinforcement learning met verifieerbare beloningen (RLVR). Voor distillatie introduceren we een grootschalige dataset van redeneersporen gegenereerd door DeepSeek-R1, die we gebruiken om LLM's te fine-tunen tot het Table-R1-SFT-model. Voor RLVR stellen we taakspecifieke verifieerbare beloningsfuncties voor en passen we het GRPO-algoritme toe om het Table-R1-Zero-model te verkrijgen. We evalueren onze Table-R1-serie modellen op diverse tabelredeneertaken, waaronder kort-antwoordvragen, feitenverificatie en vrije-vormvragen. Opmerkelijk is dat het Table-R1-Zero-model de prestaties van GPT-4.1 en DeepSeek-R1 evenaart of overtreft, terwijl het slechts een 7B-parameter LLM gebruikt. Het toont ook sterke generalisatie naar out-of-domain datasets. Uitgebreide ablatie- en kwalitatieve analyses onthullen de voordelen van instructie-tuning, keuzes in modelarchitectuur en cross-task generalisatie, evenals het ontstaan van essentiële tabelredeneervaardigheden tijdens RL-training.

English

In this work, we present the first study to explore inference-time scaling on table reasoning tasks. We develop and evaluate two post-training strategies to enable inference-time scaling: distillation from frontier model reasoning traces and reinforcement learning with verifiable rewards (RLVR). For distillation, we introduce a large-scale dataset of reasoning traces generated by DeepSeek-R1, which we use to fine-tune LLMs into the Table-R1-SFT model. For RLVR, we propose task-specific verifiable reward functions and apply the GRPO algorithm to obtain the Table-R1-Zero model. We evaluate our Table-R1-series models across diverse table reasoning tasks, including short-form QA, fact verification, and free-form QA. Notably, the Table-R1-Zero model matches or exceeds the performance of GPT-4.1 and DeepSeek-R1, while using only a 7B-parameter LLM. It also demonstrates strong generalization to out-of-domain datasets. Extensive ablation and qualitative analyses reveal the benefits of instruction tuning, model architecture choices, and cross-task generalization, as well as emergence of essential table reasoning skills during RL training.