Melhores Práticas e Lições Aprendidas sobre Dados Sintéticos para Modelos de Linguagem
Best Practices and Lessons Learned on Synthetic Data for Language Models
April 11, 2024
Autores: Ruibo Liu, Jerry Wei, Fangyu Liu, Chenglei Si, Yanzhe Zhang, Jinmeng Rao, Steven Zheng, Daiyi Peng, Diyi Yang, Denny Zhou, Andrew M. Dai
cs.AI
Resumo
O sucesso dos modelos de IA depende da disponibilidade de conjuntos de dados grandes, diversos e de alta qualidade, os quais podem ser difíceis de obter devido à escassez de dados, preocupações com privacidade e custos elevados. Os dados sintéticos surgiram como uma solução promissora ao gerar dados artificiais que imitam padrões do mundo real. Este artigo fornece uma visão geral da pesquisa em dados sintéticos, discutindo suas aplicações, desafios e direções futuras. Apresentamos evidências empíricas da literatura anterior para demonstrar sua eficácia e destacamos a importância de garantir sua factualidade, fidelidade e imparcialidade. Enfatizamos a necessidade de um uso responsável dos dados sintéticos para construir modelos de linguagem mais poderosos, inclusivos e confiáveis.
English
The success of AI models relies on the availability of large, diverse, and
high-quality datasets, which can be challenging to obtain due to data scarcity,
privacy concerns, and high costs. Synthetic data has emerged as a promising
solution by generating artificial data that mimics real-world patterns. This
paper provides an overview of synthetic data research, discussing its
applications, challenges, and future directions. We present empirical evidence
from prior art to demonstrate its effectiveness and highlight the importance of
ensuring its factuality, fidelity, and unbiasedness. We emphasize the need for
responsible use of synthetic data to build more powerful, inclusive, and
trustworthy language models.