MATATA : un outil mathématique assisté faiblement supervisé pour les applications tabulaires

MATATA: a weak-supervised MAthematical Tool-Assisted reasoning for Tabular Applications

November 28, 2024

Auteurs: Vishnou Vinayagame, Gregory Senay, Luis Martí

cs.AI

Résumé

Les capacités de raisonnement mathématique augmentent avec les agents linguistiques augmentés par des outils, mais les méthodes reposent souvent sur des modèles fermés ou volumineux, des données externes ou un génie de la formulation étendu. Ce travail présente MATATA, une nouvelle méthode rentable pour entraîner des agents LLM pour les problèmes de données tabulaires à travers le raisonnement, la planification et l'utilisation d'outils. Avec un paradigme d'amélioration progressive de soi et une supervision faible itérative, il renforce les Petits Modèles de Langage (SLMs) 3.8B/8B, particulièrement adaptés à l'hébergement local et aux contextes professionnels sensibles où la confidentialité des données est cruciale. En utilisant des outils flexibles et réutilisables sur différents ensembles de données, il atteint des performances robustes avec une évolutivité efficace à travers des tâches partagées. Les expériences montrent que MATATA atteint des performances de pointe sur FinQA et TAT-QA parmi les cadres de raisonnement basés sur des modèles open source. De plus, les modèles MATATA rivalisent avec les cadres basés sur GPT-4 sur TabMWP, tout en étant des SLMs.

English

Mathematical reasoning capabilities are increasing with tool-augmented language agents, but methods often rely either on closed-source or large models, external data, or extensive prompt engineering. This work introduces MATATA, a novel cost-effective method to train LLM agents for tabular data problems through reasoning, planning, and tool use. With a progressive self-improvement paradigm and an iterative weak supervision, it empowers 3.8B/8B Small Language Models (SLMs), particularly suited for local hosting and sensitive business contexts where data privacy is crucial. By employing a flexible and reusable tools across different datasets, it achieves robust performance with effective scalability across shared tasks. Experiments show that MATATA reaches state-of-the-art performances on FinQA and TAT-QA among reasoning frameworks based on open-source models. Moreover, MATATA models compete with GPT-4 based frameworks on TabMWP, while being SLMs.