MATATA: una herramienta de razonamiento asistida por herramientas matemáticas débilmente supervisada para aplicaciones tabulares.

MATATA: a weak-supervised MAthematical Tool-Assisted reasoning for Tabular Applications

November 28, 2024

Autores: Vishnou Vinayagame, Gregory Senay, Luis Martí

cs.AI

Resumen

Las capacidades de razonamiento matemático están aumentando con agentes de lenguaje potenciados por herramientas, pero los métodos a menudo dependen de modelos cerrados o grandes, datos externos o un extenso diseño de indicaciones. Este trabajo presenta MATATA, un novedoso método rentable para entrenar agentes LLM para problemas de datos tabulares a través de razonamiento, planificación y uso de herramientas. Con un paradigma de auto-mejora progresiva y una supervisión débil iterativa, potencia a los Modelos de Lenguaje Pequeños (SLMs) de 3.8B/8B, especialmente adecuados para alojamiento local y contextos empresariales sensibles donde la privacidad de los datos es crucial. Al emplear herramientas flexibles y reutilizables en diferentes conjuntos de datos, logra un rendimiento robusto con escalabilidad efectiva en tareas compartidas. Los experimentos muestran que MATATA alcanza rendimientos de vanguardia en FinQA y TAT-QA entre los marcos de razonamiento basados en modelos de código abierto. Además, los modelos de MATATA compiten con los marcos basados en GPT-4 en TabMWP, siendo SLMs.

English

Mathematical reasoning capabilities are increasing with tool-augmented language agents, but methods often rely either on closed-source or large models, external data, or extensive prompt engineering. This work introduces MATATA, a novel cost-effective method to train LLM agents for tabular data problems through reasoning, planning, and tool use. With a progressive self-improvement paradigm and an iterative weak supervision, it empowers 3.8B/8B Small Language Models (SLMs), particularly suited for local hosting and sensitive business contexts where data privacy is crucial. By employing a flexible and reusable tools across different datasets, it achieves robust performance with effective scalability across shared tasks. Experiments show that MATATA reaches state-of-the-art performances on FinQA and TAT-QA among reasoning frameworks based on open-source models. Moreover, MATATA models compete with GPT-4 based frameworks on TabMWP, while being SLMs.