Обучение языковой модели говорить на языке инструментов

Teaching a Language Model to Speak the Language of Tools

June 29, 2025

Авторы: Simeon Emanuilov

cs.AI

Аннотация

Интеграция внешних инструментов через вызов функций является важнейшим элементом для практического применения языковых моделей, однако большинство многоязычных моделей не обладают надежными возможностями использования инструментов в неанглийских языках. Даже передовые многоязычные модели испытывают трудности с определением момента для использования инструментов и генерацией структурированных выходных данных, необходимых для вызова функций, часто демонстрируя языковую путаницу при запросах на языках с ограниченными ресурсами. В данной работе представлена методология адаптации существующих языковых моделей для обеспечения надежного использования инструментов на любом целевом языке, используя болгарский язык в качестве примера. Подход включает продолжение обучения серии моделей BgGPT (2,6 млрд, 9 млрд, 27 млрд параметров) на новом двуязычном наборе данных из 10 035 примеров вызова функций, разработанном для поддержки стандартизированных протоколов, таких как MCP (Model Context Protocol). Исследование представляет TUCAN (Tool-Using Capable Assistant Navigator), который достигает улучшения точности вызова функций до 28,75% по сравнению с базовыми моделями, сохраняя при этом базовое понимание языка, что подтверждено на устоявшихся болгарских тестах. Помимо повышения точности, модели TUCAN демонстрируют готовые к производству форматы ответов с четкими и парсируемыми вызовами функций, в отличие избыточных и несогласованных выходных данных базовых моделей. Модели, оценочная структура и набор данных опубликованы для обеспечения возможности воспроизведения для других языков. Данная работа демонстрирует практический подход для расширения возможностей, дополненных инструментами, за пределы англоцентричных систем.

English

External tool integration through function-calling is essential for practical language model applications, yet most multilingual models lack reliable tool-use capabilities in non-English languages. Even state-of-the-art multilingual models struggle with determining when to use tools and generating the structured outputs required for function calls, often exhibiting language confusion when prompted in lower-resource languages. This work presents a methodology for adapting existing language models to enable robust tool use in any target language, using Bulgarian as a case study. The approach involves continued training of the BgGPT model series (2.6B, 9B, 27B parameters) on a novel bilingual dataset of 10,035 function-calling examples designed to support standardized protocols like MCP (Model Context Protocol). The research introduces TUCAN (Tool-Using Capable Assistant Navigator), which achieves up to 28.75% improvement in function-calling accuracy over base models while preserving core language understanding, as verified on established Bulgarian benchmarks. Beyond accuracy gains, TUCAN models demonstrate production-ready response formatting with clean, parsable function calls, contrasting with the verbose and inconsistent outputs of base models. The models, evaluation framework, and dataset are released to enable replication for other languages. This work demonstrates a practical approach for extending tool-augmented capabilities beyond English-centric systems.