MATATA: слабо-надзорный математический инструмент для помощи в рассуждениях в табличных приложениях

MATATA: a weak-supervised MAthematical Tool-Assisted reasoning for Tabular Applications

November 28, 2024

Авторы: Vishnou Vinayagame, Gregory Senay, Luis Martí

cs.AI

Аннотация

Математические возможности рассуждения увеличиваются с помощью агентов на основе языка с инструментальным подходом, но методы часто зависят либо от закрытых исходных кодов, либо от крупных моделей, внешних данных или обширной инженерии запросов. В данной работе представлен метод MATATA, новый экономичный способ обучения агентов LLM для задач с табличными данными с использованием рассуждений, планирования и использования инструментов. С прогрессивной парадигмой самосовершенствования и итеративным слабым наблюдением он усиливает 3.8B/8B Малые Языковые Модели (SLM), особенно подходящие для локального размещения и чувствительных бизнес-контекстов, где конфиденциальность данных критична. Применяя гибкие и многократно используемые инструменты на различных наборах данных, он достигает надежной производительности с эффективной масштабируемостью по общим задачам. Эксперименты показывают, что MATATA достигает передовых результатов на FinQA и TAT-QA среди рассуждающих фреймворков на основе открытых моделей. Более того, модели MATATA конкурируют с фреймворками на основе GPT-4 на TabMWP, оставаясь при этом Малыми Языковыми Моделями.

English

Mathematical reasoning capabilities are increasing with tool-augmented language agents, but methods often rely either on closed-source or large models, external data, or extensive prompt engineering. This work introduces MATATA, a novel cost-effective method to train LLM agents for tabular data problems through reasoning, planning, and tool use. With a progressive self-improvement paradigm and an iterative weak supervision, it empowers 3.8B/8B Small Language Models (SLMs), particularly suited for local hosting and sensitive business contexts where data privacy is crucial. By employing a flexible and reusable tools across different datasets, it achieves robust performance with effective scalability across shared tasks. Experiments show that MATATA reaches state-of-the-art performances on FinQA and TAT-QA among reasoning frameworks based on open-source models. Moreover, MATATA models compete with GPT-4 based frameworks on TabMWP, while being SLMs.