VOYAGER: Un approccio senza addestramento per generare dataset diversificati utilizzando LLM
VOYAGER: A Training Free Approach for Generating Diverse Datasets using LLMs
December 12, 2025
Autori: Avinash Amballa, Yashas Malur Saidutta, Chi-Heng Lin, Vivek Kulkarni, Srinivas Chappidi
cs.AI
Abstract
I modelli linguistici di grandi dimensioni (LLM) vengono sempre più utilizzati per generare dataset sintetici per la valutazione e l'addestramento di modelli downstream. Tuttavia, lavori precedenti hanno osservato che tali dati generati mancano di diversità. In questo articolo, proponiamo Voyager, un nuovo approccio principiato per generare dataset diversificati. Il nostro approccio è iterativo e ottimizza direttamente una quantità matematica che massimizza la diversità del dataset utilizzando il formalismo dei processi puntuali determinantal. Inoltre, il nostro metodo non richiede addestramento, è applicabile a modelli closed-source e scalabile. Oltre a fornire una giustificazione teorica del funzionamento del nostro metodo, dimostriamo anche attraverso esperimenti completi che Voyager supera significativamente i popoli approcci baseline, fornendo un miglioramento della diversità di 1,5-3 volte.
English
Large language models (LLMs) are increasingly being used to generate synthetic datasets for the evaluation and training of downstream models. However, prior work has noted that such generated data lacks diversity. In this paper, we propose Voyager, a novel principled approach to generate diverse datasets. Our approach is iterative and directly optimizes a mathematical quantity that optimizes the diversity of the dataset using the machinery of determinantal point processes. Furthermore, our approach is training-free, applicable to closed-source models, and scalable. In addition to providing theoretical justification for the working of our method, we also demonstrate through comprehensive experiments that Voyager significantly outperforms popular baseline approaches by providing a 1.5-3x improvement in diversity.