Bonnes pratiques et enseignements tirés des données synthétiques pour les modèles de langage

Best Practices and Lessons Learned on Synthetic Data for Language Models

April 11, 2024

Auteurs: Ruibo Liu, Jerry Wei, Fangyu Liu, Chenglei Si, Yanzhe Zhang, Jinmeng Rao, Steven Zheng, Daiyi Peng, Diyi Yang, Denny Zhou, Andrew M. Dai

cs.AI

Résumé

Le succès des modèles d'IA repose sur la disponibilité de jeux de données vastes, diversifiés et de haute qualité, qui peuvent être difficiles à obtenir en raison de la rareté des données, des préoccupations liées à la confidentialité et des coûts élevés. Les données synthétiques sont apparues comme une solution prometteuse en générant des données artificielles qui imitent les modèles du monde réel. Cet article propose un aperçu de la recherche sur les données synthétiques, en discutant de leurs applications, des défis qu'elles posent et des orientations futures. Nous présentons des preuves empiriques issues des travaux antérieurs pour démontrer leur efficacité et soulignons l'importance de garantir leur factualité, leur fidélité et leur impartialité. Nous insistons sur la nécessité d'une utilisation responsable des données synthétiques pour construire des modèles de langage plus puissants, inclusifs et dignes de confiance.

English

The success of AI models relies on the availability of large, diverse, and high-quality datasets, which can be challenging to obtain due to data scarcity, privacy concerns, and high costs. Synthetic data has emerged as a promising solution by generating artificial data that mimics real-world patterns. This paper provides an overview of synthetic data research, discussing its applications, challenges, and future directions. We present empirical evidence from prior art to demonstrate its effectiveness and highlight the importance of ensuring its factuality, fidelity, and unbiasedness. We emphasize the need for responsible use of synthetic data to build more powerful, inclusive, and trustworthy language models.