Крупные языковые модели как трекеры состояния диалога с нулевым обучением через вызов функций

Large Language Models as Zero-shot Dialogue State Tracker through Function Calling

February 16, 2024

Авторы: Zekun Li, Zhiyu Zoey Chen, Mike Ross, Patrick Huber, Seungwhan Moon, Zhaojiang Lin, Xin Luna Dong, Adithya Sagar, Xifeng Yan, Paul A. Crook

cs.AI

Аннотация

Крупные языковые модели (LLM) становятся все более распространенными в разговорных системах благодаря их продвинутому пониманию и генеративным способностям в общих контекстах. Однако их эффективность в задачах, ориентированных на диалог (TOD), которые требуют не только генерации ответов, но и эффективного отслеживания состояния диалога (DST) в рамках конкретных задач и доменов, остается менее удовлетворительной. В данной работе мы предлагаем новый подход FnCTOD для решения задачи DST с использованием LLM через вызов функций. Этот метод улучшает zero-shot DST, позволяя адаптироваться к различным доменам без необходимости сбора больших объемов данных или настройки модели. Наши экспериментальные результаты демонстрируют, что наш подход достигает исключительной производительности как для моделей с умеренным количеством параметров с открытым исходным кодом, так и для проприетарных LLM: с использованием in-context prompting он позволяет различным моделям с 7B или 13B параметрами превзойти предыдущее состояние искусства (SOTA), достигнутое ChatGPT, и улучшает производительность ChatGPT, превышая SOTA на 5.6% по среднему значению JGA. Результаты для отдельных моделей GPT-3.5 и GPT-4 улучшаются на 4.8% и 14% соответственно. Мы также показываем, что путем тонкой настройки на небольшом наборе разнообразных диалогов, ориентированных на задачи, можно оснастить модели с умеренным количеством параметров, в частности модель LLaMA2-Chat с 13B параметрами, возможностями вызова функций и производительностью DST, сопоставимой с ChatGPT, сохраняя при этом их чат-возможности. Мы планируем открыть исходный код экспериментов и модели.

English

Large language models (LLMs) are increasingly prevalent in conversational systems due to their advanced understanding and generative capabilities in general contexts. However, their effectiveness in task-oriented dialogues (TOD), which requires not only response generation but also effective dialogue state tracking (DST) within specific tasks and domains, remains less satisfying. In this work, we propose a novel approach FnCTOD for solving DST with LLMs through function calling. This method improves zero-shot DST, allowing adaptation to diverse domains without extensive data collection or model tuning. Our experimental results demonstrate that our approach achieves exceptional performance with both modestly sized open-source and also proprietary LLMs: with in-context prompting it enables various 7B or 13B parameter models to surpass the previous state-of-the-art (SOTA) achieved by ChatGPT, and improves ChatGPT's performance beating the SOTA by 5.6% Avg. JGA. Individual model results for GPT-3.5 and GPT-4 are boosted by 4.8% and 14%, respectively. We also show that by fine-tuning on a small collection of diverse task-oriented dialogues, we can equip modestly sized models, specifically a 13B parameter LLaMA2-Chat model, with function-calling capabilities and DST performance comparable to ChatGPT while maintaining their chat capabilities. We plan to open-source experimental code and model.