Тонкая настройка на зашумленных инструкциях: влияние на обобщение и производительность

Fine-Tuning on Noisy Instructions: Effects on Generalization and Performance

October 3, 2025

Авторы: Ahmed Alajrami, Xingwei Tan, Nikolaos Aletras

cs.AI

Аннотация

Инструктивная настройка играет ключевую роль в улучшении способностей крупных языковых моделей (LLM) решать задачи, повышая их полезность в генерации полезных ответов на различные запросы. Однако предыдущие исследования показали, что такие модели чувствительны к незначительным изменениям в формулировках инструкций. В данной работе мы исследуем, может ли внесение возмущений в данные для инструктивной настройки повысить устойчивость LLM к зашумленным инструкциям. Мы сосредоточимся на том, как инструктивная настройка с возмущениями, такими как удаление стоп-слов или перестановка слов, влияет на производительность LLM на оригинальных и измененных версиях широко используемых тестов (MMLU, BBH, GSM8K). Мы также оцениваем динамику обучения и возможные изменения в поведении моделей. Удивительно, но наши результаты показывают, что инструктивная настройка на возмущенных инструкциях в некоторых случаях может улучшить производительность на последующих задачах. Эти результаты подчеркивают важность включения возмущенных инструкций в процесс инструктивной настройки, что может сделать LLM более устойчивыми к зашумленным пользовательским вводам.

English

Instruction-tuning plays a vital role in enhancing the task-solving abilities of large language models (LLMs), improving their usability in generating helpful responses on various tasks. However, previous work has demonstrated that they are sensitive to minor variations in instruction phrasing. In this paper, we explore whether introducing perturbations in instruction-tuning data can enhance LLMs' resistance against noisy instructions. We focus on how instruction-tuning with perturbations, such as removing stop words or shuffling words, affects LLMs' performance on the original and perturbed versions of widely-used benchmarks (MMLU, BBH, GSM8K). We further assess learning dynamics and potential shifts in model behavior. Surprisingly, our results suggest that instruction-tuning on perturbed instructions can, in some cases, improve downstream performance. These findings highlight the importance of including perturbed instructions in instruction-tuning, which can make LLMs more resilient to noisy user inputs.