MATATA: 表形式アプリケーションのための弱教師付き数学ツール支援推論

MATATA: a weak-supervised MAthematical Tool-Assisted reasoning for Tabular Applications

November 28, 2024

著者: Vishnou Vinayagame, Gregory Senay, Luis Martí

cs.AI

要旨

数学的推論能力は、ツールによって補完された言語エージェントによって向上していますが、多くの方法がクローズドソースまたは大規模なモデル、外部データ、または詳細なプロンプトエンジニアリングに依存しています。この研究では、MATATAという新しいコスト効果の高い方法を紹介し、推論、計画、およびツールの使用を通じて表形式のデータ問題に対応するLLMエージェントを訓練します。進歩的な自己改善パラダイムと反復的な弱教示を備えており、データプライバシーが重要なローカルホスティングや機密性の高いビジネスコンテキストに特に適しています。さまざまなデータセットで柔軟かつ再利用可能なツールを使用することで、共有タスク全体で効果的なスケーラビリティを実現し、堅牢なパフォーマンスを達成します。実験の結果、MATATAは、オープンソースモデルに基づく推論フレームワークの中でFinQAとTAT-QAで最先端のパフォーマンスを達成します。さらに、MATATAモデルは、SLMであるにもかかわらず、TabMWPでGPT-4ベースのフレームワークと競合しています。

English

Mathematical reasoning capabilities are increasing with tool-augmented language agents, but methods often rely either on closed-source or large models, external data, or extensive prompt engineering. This work introduces MATATA, a novel cost-effective method to train LLM agents for tabular data problems through reasoning, planning, and tool use. With a progressive self-improvement paradigm and an iterative weak supervision, it empowers 3.8B/8B Small Language Models (SLMs), particularly suited for local hosting and sensitive business contexts where data privacy is crucial. By employing a flexible and reusable tools across different datasets, it achieves robust performance with effective scalability across shared tasks. Experiments show that MATATA reaches state-of-the-art performances on FinQA and TAT-QA among reasoning frameworks based on open-source models. Moreover, MATATA models compete with GPT-4 based frameworks on TabMWP, while being SLMs.