MATATA: Ein schwach überwachtes mathematisches Tool-gestütztes Argumentationswerkzeug für tabellarische Anwendungen.

MATATA: a weak-supervised MAthematical Tool-Assisted reasoning for Tabular Applications

November 28, 2024

Autoren: Vishnou Vinayagame, Gregory Senay, Luis Martí

cs.AI

Zusammenfassung

Die mathematischen Schlussfolgerungsfähigkeiten nehmen mit sprachgestützten Werkzeugen zu, aber die Methoden stützen sich oft entweder auf Closed-Source- oder große Modelle, externe Daten oder umfangreiche Eingabeaufforderungs-Engineering. Diese Arbeit stellt MATATA vor, eine neuartige kostengünstige Methode zur Schulung von LLM-Agenten für tabellarische Datenprobleme durch Schlussfolgerungen, Planung und Werkzeugnutzung. Mit einem progressiven Selbstverbesserungsparadigma und einer iterativen schwachen Überwachung ermöglicht es 3,8B/8B Small Language Models (SLMs), die besonders für lokale Hosting- und sensible Geschäftskontexte geeignet sind, in denen der Datenschutz entscheidend ist. Durch den Einsatz flexibler und wiederverwendbarer Werkzeuge über verschiedene Datensätze hinweg erzielt es robuste Leistungen mit effektiver Skalierbarkeit über gemeinsame Aufgaben. Experimente zeigen, dass MATATA Spitzenleistungen bei FinQA und TAT-QA unter den auf Open-Source-Modellen basierenden Schlussfolgerungsrahmen erreicht. Darüber hinaus konkurrieren MATATA-Modelle mit auf GPT-4 basierenden Rahmenbedingungen bei TabMWP, während sie SLMs sind.

English

Mathematical reasoning capabilities are increasing with tool-augmented language agents, but methods often rely either on closed-source or large models, external data, or extensive prompt engineering. This work introduces MATATA, a novel cost-effective method to train LLM agents for tabular data problems through reasoning, planning, and tool use. With a progressive self-improvement paradigm and an iterative weak supervision, it empowers 3.8B/8B Small Language Models (SLMs), particularly suited for local hosting and sensitive business contexts where data privacy is crucial. By employing a flexible and reusable tools across different datasets, it achieves robust performance with effective scalability across shared tasks. Experiments show that MATATA reaches state-of-the-art performances on FinQA and TAT-QA among reasoning frameworks based on open-source models. Moreover, MATATA models compete with GPT-4 based frameworks on TabMWP, while being SLMs.