Meilleur alignement avec la traduction aller-retour des instructions

Better Alignment with Instruction Back-and-Forth Translation

August 8, 2024

Auteurs: Thao Nguyen, Jeffrey Li, Sewoong Oh, Ludwig Schmidt, Jason Weston, Luke Zettlemoyer, Xian Li

cs.AI

Résumé

Nous proposons une nouvelle méthode, la traduction aller-retour d'instructions, pour construire des données synthétiques de haute qualité ancrées dans la connaissance du monde afin d'aligner les grands modèles de langage (LLM). À partir de documents issus d'un corpus web, nous générons et sélectionnons des instructions synthétiques en utilisant l'approche de rétro-traduction proposée par Li et al. (2023a), puis nous réécrivons les réponses pour en améliorer davantage la qualité en nous basant sur les documents initiaux. Le fine-tuning avec les paires résultantes (instruction rétro-traduite, réponse réécrite) permet d'obtenir des taux de victoire plus élevés sur AlpacaEval que l'utilisation d'autres ensembles de données d'instructions courants tels que Humpback, ShareGPT, Open Orca, Alpaca-GPT4 et Self-instruct. Nous démontrons également que la réécriture des réponses avec un LLM surpasse la distillation directe, et que les deux distributions de texte générées présentent une distinction significative dans l'espace d'embedding. Une analyse plus approfondie montre que nos instructions rétro-traduites sont de meilleure qualité que d'autres sources d'instructions synthétiques, tandis que nos réponses sont plus diversifiées et complexes que celles obtenues par distillation. Globalement, nous constatons que la traduction aller-retour d'instructions combine le meilleur des deux mondes -- en exploitant la diversité et la quantité d'informations disponibles sur le web, tout en garantissant la qualité des réponses, essentielle pour un alignement efficace.

English

We propose a new method, instruction back-and-forth translation, to construct high-quality synthetic data grounded in world knowledge for aligning large language models (LLMs). Given documents from a web corpus, we generate and curate synthetic instructions using the backtranslation approach proposed by Li et al.(2023a), and rewrite the responses to improve their quality further based on the initial documents. Fine-tuning with the resulting (backtranslated instruction, rewritten response) pairs yields higher win rates on AlpacaEval than using other common instruction datasets such as Humpback, ShareGPT, Open Orca, Alpaca-GPT4 and Self-instruct. We also demonstrate that rewriting the responses with an LLM outperforms direct distillation, and the two generated text distributions exhibit significant distinction in embedding space. Further analysis shows that our backtranslated instructions are of higher quality than other sources of synthetic instructions, while our responses are more diverse and complex than those obtained from distillation. Overall we find that instruction back-and-forth translation combines the best of both worlds -- making use of the information diversity and quantity found on the web, while ensuring the quality of the responses which is necessary for effective alignment.