Тонкая настройка малой языковой модели или использование подсказок для большой языковой модели? Пример генерации низкокодовых рабочих процессов
Fine-Tune an SLM or Prompt an LLM? The Case of Generating Low-Code Workflows
May 30, 2025
Авторы: Orlando Marquez Ayala, Patrice Bechard, Emily Chen, Maggie Baird, Jingfei Chen
cs.AI
Аннотация
Крупные языковые модели (LLM), такие как GPT-4o, способны справляться с широким спектром сложных задач при правильной формулировке запроса. По мере снижения стоимости обработки токенов преимущества тонкой настройки малых языковых моделей (SLM) для реальных приложений — таких как более быстрый вывод и снижение затрат — могут перестать быть очевидными. В данной работе мы представляем доказательства того, что для задач, специфичных для определённой предметной области и требующих структурированных выходных данных, SLM всё ещё сохраняют преимущество в качестве. Мы сравниваем тонкую настройку SLM с использованием запросов к LLM на задаче генерации низкокодовых рабочих процессов в формате JSON. Мы наблюдаем, что, хотя хороший запрос может дать приемлемые результаты, тонкая настройка повышает качество в среднем на 10%. Мы также проводим систематический анализ ошибок, чтобы выявить ограничения моделей.
English
Large Language Models (LLMs) such as GPT-4o can handle a wide range of
complex tasks with the right prompt. As per token costs are reduced, the
advantages of fine-tuning Small Language Models (SLMs) for real-world
applications -- faster inference, lower costs -- may no longer be clear. In
this work, we present evidence that, for domain-specific tasks that require
structured outputs, SLMs still have a quality advantage. We compare fine-tuning
an SLM against prompting LLMs on the task of generating low-code workflows in
JSON form. We observe that while a good prompt can yield reasonable results,
fine-tuning improves quality by 10% on average. We also perform systematic
error analysis to reveal model limitations.