언어 모델을 위한 합성 데이터에 관한 모범 사례와 교훈

Best Practices and Lessons Learned on Synthetic Data for Language Models

April 11, 2024

저자: Ruibo Liu, Jerry Wei, Fangyu Liu, Chenglei Si, Yanzhe Zhang, Jinmeng Rao, Steven Zheng, Daiyi Peng, Diyi Yang, Denny Zhou, Andrew M. Dai

cs.AI

초록

AI 모델의 성공은 크고 다양하며 고품질의 데이터셋 가용성에 달려 있지만, 데이터 부족, 개인정보 보호 문제, 높은 비용 등의 이유로 이를 확보하는 것은 어려운 과제입니다. 합성 데이터는 실제 세계의 패턴을 모방한 인공 데이터를 생성함으로써 유망한 해결책으로 떠오르고 있습니다. 본 논문은 합성 데이터 연구에 대한 개요를 제공하며, 그 응용 분야, 도전 과제, 그리고 미래 방향에 대해 논의합니다. 우리는 선행 연구에서의 실증적 증거를 제시하여 합성 데이터의 효과를 입증하고, 사실성, 충실도, 편향 없는 특성을 보장하는 것의 중요성을 강조합니다. 또한 더 강력하고 포용적이며 신뢰할 수 있는 언어 모델을 구축하기 위해 합성 데이터의 책임 있는 사용이 필요함을 강조합니다.

English

The success of AI models relies on the availability of large, diverse, and high-quality datasets, which can be challenging to obtain due to data scarcity, privacy concerns, and high costs. Synthetic data has emerged as a promising solution by generating artificial data that mimics real-world patterns. This paper provides an overview of synthetic data research, discussing its applications, challenges, and future directions. We present empirical evidence from prior art to demonstrate its effectiveness and highlight the importance of ensuring its factuality, fidelity, and unbiasedness. We emphasize the need for responsible use of synthetic data to build more powerful, inclusive, and trustworthy language models.