Apprendre à un modèle de langage à parler le langage des outils

Teaching a Language Model to Speak the Language of Tools

June 29, 2025

Auteurs: Simeon Emanuilov

cs.AI

Résumé

L'intégration d'outils externes via l'appel de fonctions est essentielle pour les applications pratiques des modèles de langage, mais la plupart des modèles multilingues manquent de capacités fiables d'utilisation d'outils dans des langues autres que l'anglais. Même les modèles multilingues de pointe peinent à déterminer quand utiliser des outils et à générer les sorties structurées nécessaires pour les appels de fonctions, montrant souvent une confusion linguistique lorsqu'ils sont sollicités dans des langues moins dotées en ressources. Ce travail présente une méthodologie pour adapter les modèles de langage existants afin de permettre une utilisation robuste d'outils dans n'importe quelle langue cible, en utilisant le bulgare comme étude de cas. L'approche implique un entraînement continu de la série de modèles BgGPT (2,6B, 9B, 27B paramètres) sur un nouvel ensemble de données bilingues de 10 035 exemples d'appels de fonctions conçus pour supporter des protocoles standardisés comme le MCP (Model Context Protocol). La recherche introduit TUCAN (Tool-Using Capable Assistant Navigator), qui atteint une amélioration allant jusqu'à 28,75 % dans la précision des appels de fonctions par rapport aux modèles de base, tout en préservant la compréhension fondamentale du langage, comme vérifié sur des benchmarks établis en bulgare. Au-delà des gains en précision, les modèles TUCAN démontrent un formatage de réponse prêt pour la production avec des appels de fonctions propres et analysables, contrastant avec les sorties verbeuses et incohérentes des modèles de base. Les modèles, le cadre d'évaluation et l'ensemble de données sont rendus publics pour permettre la réplication pour d'autres langues. Ce travail démontre une approche pratique pour étendre les capacités augmentées par des outils au-delà des systèmes centrés sur l'anglais.

English

External tool integration through function-calling is essential for practical language model applications, yet most multilingual models lack reliable tool-use capabilities in non-English languages. Even state-of-the-art multilingual models struggle with determining when to use tools and generating the structured outputs required for function calls, often exhibiting language confusion when prompted in lower-resource languages. This work presents a methodology for adapting existing language models to enable robust tool use in any target language, using Bulgarian as a case study. The approach involves continued training of the BgGPT model series (2.6B, 9B, 27B parameters) on a novel bilingual dataset of 10,035 function-calling examples designed to support standardized protocols like MCP (Model Context Protocol). The research introduces TUCAN (Tool-Using Capable Assistant Navigator), which achieves up to 28.75% improvement in function-calling accuracy over base models while preserving core language understanding, as verified on established Bulgarian benchmarks. Beyond accuracy gains, TUCAN models demonstrate production-ready response formatting with clean, parsable function calls, contrasting with the verbose and inconsistent outputs of base models. The models, evaluation framework, and dataset are released to enable replication for other languages. This work demonstrates a practical approach for extending tool-augmented capabilities beyond English-centric systems.