Таблица-R1: Масштабирование на этапе вывода для табличных рассуждений

Table-R1: Inference-Time Scaling for Table Reasoning

May 29, 2025

Авторы: Zheyuan Yang, Lyuhao Chen, Arman Cohan, Yilun Zhao

cs.AI

Аннотация

В данной работе мы представляем первое исследование, посвященное изучению масштабирования на этапе вывода для задач табличного рассуждения. Мы разрабатываем и оцениваем две стратегии пост-обучения, позволяющие реализовать масштабирование на этапе вывода: дистилляцию из трасс рассуждений передовой модели и обучение с подкреплением с проверяемыми наградами (RLVR). Для дистилляции мы представляем крупномасштабный набор данных трасс рассуждений, сгенерированных моделью DeepSeek-R1, который используется для тонкой настройки языковых моделей (LLM) в модель Table-R1-SFT. Для RLVR мы предлагаем специфичные для задач функции проверяемых наград и применяем алгоритм GRPO для получения модели Table-R1-Zero. Мы оцениваем наши модели серии Table-R1 на различных задачах табличного рассуждения, включая краткие вопросы и ответы, проверку фактов и свободные вопросы и ответы. Примечательно, что модель Table-R1-Zero демонстрирует сопоставимую или превосходящую производительность по сравнению с GPT-4.1 и DeepSeek-R1, используя при этом LLM всего с 7 миллиардами параметров. Она также показывает сильную способность к обобщению на данных из других областей. Обширные эксперименты и качественный анализ выявляют преимущества настройки на инструкции, выбора архитектуры модели и кросс-задачного обобщения, а также появление ключевых навыков табличного рассуждения в процессе обучения с подкреплением.

English

In this work, we present the first study to explore inference-time scaling on table reasoning tasks. We develop and evaluate two post-training strategies to enable inference-time scaling: distillation from frontier model reasoning traces and reinforcement learning with verifiable rewards (RLVR). For distillation, we introduce a large-scale dataset of reasoning traces generated by DeepSeek-R1, which we use to fine-tune LLMs into the Table-R1-SFT model. For RLVR, we propose task-specific verifiable reward functions and apply the GRPO algorithm to obtain the Table-R1-Zero model. We evaluate our Table-R1-series models across diverse table reasoning tasks, including short-form QA, fact verification, and free-form QA. Notably, the Table-R1-Zero model matches or exceeds the performance of GPT-4.1 and DeepSeek-R1, while using only a 7B-parameter LLM. It also demonstrates strong generalization to out-of-domain datasets. Extensive ablation and qualitative analyses reveal the benefits of instruction tuning, model architecture choices, and cross-task generalization, as well as emergence of essential table reasoning skills during RL training.