Mejor alineación con la traducción de ida y vuelta de instrucciones.

Better Alignment with Instruction Back-and-Forth Translation

August 8, 2024

Autores: Thao Nguyen, Jeffrey Li, Sewoong Oh, Ludwig Schmidt, Jason Weston, Luke Zettlemoyer, Xian Li

cs.AI

Resumen

Proponemos un nuevo método, traducción de instrucciones de ida y vuelta, para construir datos sintéticos de alta calidad fundamentados en el conocimiento del mundo para alinear grandes modelos de lenguaje (GML). Dados documentos de un corpus web, generamos y curamos instrucciones sintéticas utilizando el enfoque de retrotraducción propuesto por Li et al. (2023a), y reescribimos las respuestas para mejorar aún más su calidad basándonos en los documentos iniciales. El ajuste fino con los pares resultantes (instrucción retrotraducida, respuesta reescrita) produce tasas de éxito más altas en AlpacaEval que al usar otros conjuntos de datos de instrucciones comunes como Humpback, ShareGPT, Open Orca, Alpaca-GPT4 y Self-instruct. También demostramos que reescribir las respuestas con un GML supera a la destilación directa, y las dos distribuciones de texto generadas muestran una distinción significativa en el espacio de incrustación. Un análisis adicional muestra que nuestras instrucciones retrotraducidas son de mayor calidad que otras fuentes de instrucciones sintéticas, mientras que nuestras respuestas son más diversas y complejas que las obtenidas mediante destilación. En general, encontramos que la traducción de instrucciones de ida y vuelta combina lo mejor de ambos mundos, aprovechando la diversidad y cantidad de información encontrada en la web, al tiempo que garantiza la calidad de las respuestas necesaria para una alineación efectiva.

English

We propose a new method, instruction back-and-forth translation, to construct high-quality synthetic data grounded in world knowledge for aligning large language models (LLMs). Given documents from a web corpus, we generate and curate synthetic instructions using the backtranslation approach proposed by Li et al.(2023a), and rewrite the responses to improve their quality further based on the initial documents. Fine-tuning with the resulting (backtranslated instruction, rewritten response) pairs yields higher win rates on AlpacaEval than using other common instruction datasets such as Humpback, ShareGPT, Open Orca, Alpaca-GPT4 and Self-instruct. We also demonstrate that rewriting the responses with an LLM outperforms direct distillation, and the two generated text distributions exhibit significant distinction in embedding space. Further analysis shows that our backtranslated instructions are of higher quality than other sources of synthetic instructions, while our responses are more diverse and complex than those obtained from distillation. Overall we find that instruction back-and-forth translation combines the best of both worlds -- making use of the information diversity and quantity found on the web, while ensuring the quality of the responses which is necessary for effective alignment.