Более мощные модели НЕ являются более сильными учителями для настройки инструкций.

Stronger Models are NOT Stronger Teachers for Instruction Tuning

November 11, 2024

Авторы: Zhangchen Xu, Fengqing Jiang, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

Аннотация

Настройка инструкций широко применяется для обеспечения эффективного следования крупными языковыми моделями (LLM) инструкциям пользователей. Результативные способности следования инструкциям LLM в значительной степени зависят от наборов данных инструкций, используемых для настройки. Недавно синтетические наборы данных инструкций стали экономически целесообразным решением для обеспечения LLM разнообразными и качественными инструкциями. Однако существующие подходы обычно предполагают, что более крупные или более мощные модели являются более сильными учителями для настройки инструкций и, следовательно, просто принимают эти модели в качестве генераторов ответов на синтетические инструкции. В данной статье мы оспариваем это широко принятое предположение. Наши обширные эксперименты среди пяти базовых моделей и двадцати генераторов ответов показывают, что более крупные и мощные модели не обязательно являются более сильными учителями для более маленьких моделей. Мы называем этот феномен Парадоксом Более Крупных Моделей. Мы замечаем, что существующие метрики не могут точно предсказать эффективность генераторов ответов, поскольку они игнорируют совместимость между учителями и базовыми моделями, подлежащими доводке. Мы разрабатываем новую метрику, названную Совместимостно-Корректируемая Награда (CAR), для измерения эффективности генераторов ответов. Наши эксперименты среди пяти базовых моделей показывают, что CAR превосходит практически все базовые значения.

English

Instruction tuning has been widely adopted to ensure large language models (LLMs) follow user instructions effectively. The resulting instruction-following capabilities of LLMs heavily rely on the instruction datasets used for tuning. Recently, synthetic instruction datasets have emerged as an economically viable solution to provide LLMs diverse and high-quality instructions. However, existing approaches typically assume that larger or stronger models are stronger teachers for instruction tuning, and hence simply adopt these models as response generators to the synthetic instructions. In this paper, we challenge this commonly-adopted assumption. Our extensive experiments across five base models and twenty response generators reveal that larger and stronger models are not necessarily stronger teachers of smaller models. We refer to this phenomenon as the Larger Models' Paradox. We observe that existing metrics cannot precisely predict the effectiveness of response generators since they ignore the compatibility between teachers and base models being fine-tuned. We thus develop a novel metric, named as Compatibility-Adjusted Reward (CAR) to measure the effectiveness of response generators. Our experiments across five base models demonstrate that CAR outperforms almost all baselines.