VOYAGER : Une approche sans entraînement pour générer des ensembles de données diversifiés à l'aide de modèles de langage

VOYAGER: A Training Free Approach for Generating Diverse Datasets using LLMs

December 12, 2025

papers.authors: Avinash Amballa, Yashas Malur Saidutta, Chi-Heng Lin, Vivek Kulkarni, Srinivas Chappidi

cs.AI

papers.abstract

Les grands modèles de langage (LLM) sont de plus en plus utilisés pour générer des ensembles de données synthétiques destinés à l'évaluation et à l'entraînement de modèles en aval. Cependant, des travaux antérieurs ont constaté que ces données générées manquent de diversité. Dans cet article, nous proposons Voyager, une nouvelle approche fondée sur des principes pour générer des ensembles de données diversifiés. Notre approche est itérative et optimise directement une quantité mathématique qui maximise la diversité de l'ensemble de données en utilisant le formalisme des processus ponctuels déterminantaux. De plus, notre méthode ne nécessite pas d'entraînement, est applicable aux modèles propriétaires et est évolutive. Outre la justification théorique du fonctionnement de notre méthode, nous démontrons également par des expériences approfondies que Voyager surpasse significativement les approches de référence populaires en offrant une amélioration de la diversité d'un facteur 1,5 à 3.

English

Large language models (LLMs) are increasingly being used to generate synthetic datasets for the evaluation and training of downstream models. However, prior work has noted that such generated data lacks diversity. In this paper, we propose Voyager, a novel principled approach to generate diverse datasets. Our approach is iterative and directly optimizes a mathematical quantity that optimizes the diversity of the dataset using the machinery of determinantal point processes. Furthermore, our approach is training-free, applicable to closed-source models, and scalable. In addition to providing theoretical justification for the working of our method, we also demonstrate through comprehensive experiments that Voyager significantly outperforms popular baseline approaches by providing a 1.5-3x improvement in diversity.