Mejores Prácticas y Lecciones Aprendidas sobre Datos Sintéticos para Modelos de Lenguaje

Best Practices and Lessons Learned on Synthetic Data for Language Models

April 11, 2024

Autores: Ruibo Liu, Jerry Wei, Fangyu Liu, Chenglei Si, Yanzhe Zhang, Jinmeng Rao, Steven Zheng, Daiyi Peng, Diyi Yang, Denny Zhou, Andrew M. Dai

cs.AI

Resumen

El éxito de los modelos de IA depende de la disponibilidad de conjuntos de datos grandes, diversos y de alta calidad, los cuales pueden ser difíciles de obtener debido a la escasez de datos, preocupaciones de privacidad y altos costos. Los datos sintéticos han surgido como una solución prometedora al generar datos artificiales que imitan patrones del mundo real. Este artículo ofrece una visión general de la investigación sobre datos sintéticos, discutiendo sus aplicaciones, desafíos y direcciones futuras. Presentamos evidencia empírica de trabajos previos para demostrar su efectividad y destacamos la importancia de garantizar su factualidad, fidelidad y ausencia de sesgos. Enfatizamos la necesidad de un uso responsable de los datos sintéticos para construir modelos de lenguaje más potentes, inclusivos y confiables.

English

The success of AI models relies on the availability of large, diverse, and high-quality datasets, which can be challenging to obtain due to data scarcity, privacy concerns, and high costs. Synthetic data has emerged as a promising solution by generating artificial data that mimics real-world patterns. This paper provides an overview of synthetic data research, discussing its applications, challenges, and future directions. We present empirical evidence from prior art to demonstrate its effectiveness and highlight the importance of ensuring its factuality, fidelity, and unbiasedness. We emphasize the need for responsible use of synthetic data to build more powerful, inclusive, and trustworthy language models.