TCIA: Метод расширения инструкций с фокусом на задачи для тонкой настройки по инструкциям

Аннотация

Разнообразные данные инструкций имеют решающее значение для эффективной настройки больших языковых моделей на выполнение инструкций, так как это позволяет модели обобщать различные типы входных данных. Создание такого диверсифицированного набора данных инструкций является важным шагом в этом процессе. Существующие подходы часто используют большие языковые модели для автоматического исследования и генерации разнообразных инструкций, обеспечивая как разнообразие данных, так и их качество. Однако они склонны упускать из виду важный фактор в реальных приложениях: релевантность конкретной задаче. На практике лишь немногие реальные приложения требуют по-настоящему универсальной модели; большинство из них выигрывают от знаний, специфичных для конкретной задачи, адаптированных под их конкретный случай использования. Поэтому крайне важно разработать методы расширения инструкций, которые не только сохраняют разнообразие, но и оптимизированы для конкретных реальных сценариев. Мы представляем Task Centric Instruction Augmentation (TCIA) — фреймворк, который систематически расширяет инструкции, сохраняя как разнообразие, так и соответствие задаче. Представляя инструкции в дискретном пространстве запросов и ограничений, TCIA создает богатый набор релевантных задаче инструкций и позволяет моделям обобщать эти специфичные для задачи инструкции без ущерба для общей производительности. Эксперименты показывают, что TCIA улучшает производительность открытых языковых моделей в среднем на 8,7% в четырех реальных приложениях, ориентированных на конкретные задачи, а в некоторых случаях превосходит ведущие закрытые модели. Эти улучшения не компрометируют общую способность следовать инструкциям, что делает TCIA масштабируемым и эффективным решением для адаптации языковых моделей к реальным, ориентированным на задачи приложениям.

English

Diverse instruction data is vital for effective instruction tuning of large language models, as it enables the model to generalize across different types of inputs . Building such diversified instruction dataset is an essential step in this process. Existing approaches often leverage large language models to automatically explore and generate diverse instructions, ensuring both data diversity and quality. However, they tend to overlook an important factor in real-world applications: on-task relevance. In practice, only a few real-world applications require a truly general-purpose model; most benefit from task-specific knowledge tailored to their particular use case. Therefore, it is vital to develop instruction augmentation methods that not only maintain diversity but are also optimized for specific, real-world scenarios. We thus introduce Task Centric Instruction Augmentation (TCIA), a framework that systematically expands instructions while preserving both diversity and task alignment. By representing instructions in a discrete query-constraints space, TCIA creates a rich set of task-relevant instructions and enables models to generalize to these task-specific instructions without sacrificing overall performance. Experiments show that TCIA improves open-source LLMs' performance by an average of 8.7% across four real-world, task-specific applications, and in some cases outperforming leading closed-source models. These improvements do not compromise general instruction-following ability, making TCIA a scalable and efficient solution for adapting LLMs to real-world, task-focused applications.

TCIA: Метод расширения инструкций с фокусом на задачи для тонкой настройки по инструкциям

TCIA: A Task-Centric Instruction Augmentation Method for Instruction Finetuning

Аннотация

Support