VOYAGER: Een trainingsvrije aanpak voor het genereren van diverse datasets met behulp van LLM's

VOYAGER: A Training Free Approach for Generating Diverse Datasets using LLMs

December 12, 2025

Auteurs: Avinash Amballa, Yashas Malur Saidutta, Chi-Heng Lin, Vivek Kulkarni, Srinivas Chappidi

cs.AI

Samenvatting

Grote taalmodellen (LLM's) worden steeds vaker gebruikt om synthetische datasets te genereren voor de evaluatie en training van downstream-modellen. Eerder onderzoek heeft echter aangetoond dat dergelijke gegenereerde data een gebrek aan diversiteit vertoont. In dit artikel introduceren we Voyager, een nieuwe principiële aanpak om diverse datasets te genereren. Onze aanpak is iteratief en optimaliseert direct een wiskundige grootheid die de diversiteit van de dataset maximaliseert met behulp van de methodiek van determinantaal puntprocessen. Bovendien is onze aanpak trainingsvrij, toepasbaar op modellen met gesloten broncode en schaalbaar. Naast een theoretische onderbouwing van de werking van onze methode, tonen we via uitgebreide experimenten aan dat Voyager aanzienlijk beter presteert dan populaire baseline-benaderingen door een 1,5 tot 3 keer grotere diversiteit te bieden.

English

Large language models (LLMs) are increasingly being used to generate synthetic datasets for the evaluation and training of downstream models. However, prior work has noted that such generated data lacks diversity. In this paper, we propose Voyager, a novel principled approach to generate diverse datasets. Our approach is iterative and directly optimizes a mathematical quantity that optimizes the diversity of the dataset using the machinery of determinantal point processes. Furthermore, our approach is training-free, applicable to closed-source models, and scalable. In addition to providing theoretical justification for the working of our method, we also demonstrate through comprehensive experiments that Voyager significantly outperforms popular baseline approaches by providing a 1.5-3x improvement in diversity.