言語モデル向け合成データのベストプラクティスと教訓

Best Practices and Lessons Learned on Synthetic Data for Language Models

April 11, 2024

著者: Ruibo Liu, Jerry Wei, Fangyu Liu, Chenglei Si, Yanzhe Zhang, Jinmeng Rao, Steven Zheng, Daiyi Peng, Diyi Yang, Denny Zhou, Andrew M. Dai

cs.AI

要旨

AIモデルの成功は、大規模で多様かつ高品質なデータセットの可用性に依存しているが、データ不足、プライバシー懸念、高コストなどの課題により、その取得は困難な場合が多い。合成データは、現実世界のパターンを模倣した人工データを生成することで、有望な解決策として登場した。本論文では、合成データ研究の概要を提供し、その応用、課題、将来の方向性について議論する。先行研究からの実証的証拠を提示し、その有効性を実証するとともに、事実性、忠実度、偏りのないことの重要性を強調する。より強力で包括的かつ信頼性の高い言語モデルを構築するために、合成データの責任ある使用の必要性を強調する。

English

The success of AI models relies on the availability of large, diverse, and high-quality datasets, which can be challenging to obtain due to data scarcity, privacy concerns, and high costs. Synthetic data has emerged as a promising solution by generating artificial data that mimics real-world patterns. This paper provides an overview of synthetic data research, discussing its applications, challenges, and future directions. We present empirical evidence from prior art to demonstrate its effectiveness and highlight the importance of ensuring its factuality, fidelity, and unbiasedness. We emphasize the need for responsible use of synthetic data to build more powerful, inclusive, and trustworthy language models.