Modelos mais fortes NÃO são professores mais fortes para ajuste da instrução.

Stronger Models are NOT Stronger Teachers for Instruction Tuning

November 11, 2024

Autores: Zhangchen Xu, Fengqing Jiang, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

Resumo

A otimização de instruções tem sido amplamente adotada para garantir que os grandes modelos de linguagem (LLMs) sigam as instruções do usuário de forma eficaz. As capacidades resultantes de seguir instruções dos LLMs dependem fortemente dos conjuntos de dados de instruções utilizados para a otimização. Recentemente, conjuntos de dados de instruções sintéticas surgiram como uma solução economicamente viável para fornecer instruções diversas e de alta qualidade aos LLMs. No entanto, abordagens existentes geralmente assumem que modelos maiores ou mais robustos são melhores professores para a otimização de instruções e, portanto, simplesmente adotam esses modelos como geradores de respostas para as instruções sintéticas. Neste artigo, desafiamos essa suposição comumente adotada. Nossos extensos experimentos com cinco modelos base e vinte geradores de respostas revelam que modelos maiores e mais robustos não são necessariamente melhores professores para modelos menores. Referimo-nos a esse fenômeno como Paradoxo dos Modelos Maiores. Observamos que métricas existentes não conseguem prever precisamente a eficácia dos geradores de respostas, uma vez que ignoram a compatibilidade entre os professores e os modelos base sendo ajustados. Desenvolvemos, portanto, uma nova métrica, denominada Recompensa Ajustada pela Compatibilidade (CAR) para medir a eficácia dos geradores de respostas. Nossos experimentos com cinco modelos base demonstram que o CAR supera quase todas as métricas de referência.

English

Instruction tuning has been widely adopted to ensure large language models (LLMs) follow user instructions effectively. The resulting instruction-following capabilities of LLMs heavily rely on the instruction datasets used for tuning. Recently, synthetic instruction datasets have emerged as an economically viable solution to provide LLMs diverse and high-quality instructions. However, existing approaches typically assume that larger or stronger models are stronger teachers for instruction tuning, and hence simply adopt these models as response generators to the synthetic instructions. In this paper, we challenge this commonly-adopted assumption. Our extensive experiments across five base models and twenty response generators reveal that larger and stronger models are not necessarily stronger teachers of smaller models. We refer to this phenomenon as the Larger Models' Paradox. We observe that existing metrics cannot precisely predict the effectiveness of response generators since they ignore the compatibility between teachers and base models being fine-tuned. We thus develop a novel metric, named as Compatibility-Adjusted Reward (CAR) to measure the effectiveness of response generators. Our experiments across five base models demonstrate that CAR outperforms almost all baselines.