MATATA: uma ferramenta de raciocínio assistida por ferramentas matemáticas de fraca supervisão para Aplicações Tabulares.

MATATA: a weak-supervised MAthematical Tool-Assisted reasoning for Tabular Applications

November 28, 2024

Autores: Vishnou Vinayagame, Gregory Senay, Luis Martí

cs.AI

Resumo

As capacidades de raciocínio matemático estão aumentando com agentes de linguagem auxiliados por ferramentas, mas os métodos frequentemente dependem de modelos fechados ou grandes, dados externos, ou engenharia de prompts extensiva. Este trabalho apresenta MATATA, um método inovador e econômico para treinar agentes LLM para problemas de dados tabulares por meio de raciocínio, planejamento e uso de ferramentas. Com um paradigma de autoaperfeiçoamento progressivo e uma supervisão fraca iterativa, ele capacita Modelos de Linguagem Pequenos (SLMs) de 3.8B/8B, especialmente adequados para hospedagem local e contextos empresariais sensíveis nos quais a privacidade dos dados é crucial. Ao empregar ferramentas flexíveis e reutilizáveis em diferentes conjuntos de dados, ele alcança desempenho robusto com escalabilidade eficaz em tarefas compartilhadas. Experimentos mostram que o MATATA alcança desempenhos de ponta no FinQA e TAT-QA entre os frameworks de raciocínio baseados em modelos de código aberto. Além disso, os modelos MATATA competem com os frameworks baseados em GPT-4 no TabMWP, sendo SLMs.

English

Mathematical reasoning capabilities are increasing with tool-augmented language agents, but methods often rely either on closed-source or large models, external data, or extensive prompt engineering. This work introduces MATATA, a novel cost-effective method to train LLM agents for tabular data problems through reasoning, planning, and tool use. With a progressive self-improvement paradigm and an iterative weak supervision, it empowers 3.8B/8B Small Language Models (SLMs), particularly suited for local hosting and sensitive business contexts where data privacy is crucial. By employing a flexible and reusable tools across different datasets, it achieves robust performance with effective scalability across shared tasks. Experiments show that MATATA reaches state-of-the-art performances on FinQA and TAT-QA among reasoning frameworks based on open-source models. Moreover, MATATA models compete with GPT-4 based frameworks on TabMWP, while being SLMs.