VOYAGER: Обучение без обучения для генерации разнообразных наборов данных с использованием больших языковых моделей

VOYAGER: A Training Free Approach for Generating Diverse Datasets using LLMs

December 12, 2025

Авторы: Avinash Amballa, Yashas Malur Saidutta, Chi-Heng Lin, Vivek Kulkarni, Srinivas Chappidi

cs.AI

Аннотация

Крупные языковые модели (LLM) все чаще используются для генерации синтетических наборов данных для оценки и обучения последующих моделей. Однако предыдущие исследования отмечали, что такие сгенерированные данные страдают от недостатка разнообразия. В данной статье мы предлагаем Voyager — новый принципиальный подход к созданию разнообразных наборов данных. Наш подход является итеративным и напрямую оптимизирует математическую величину, отвечающую за разнообразие набора данных, с использованием аппарата детерминантных точечных процессов. Кроме того, наш подход не требует обучения, применим к моделям с закрытым исходным кодом и масштабируем. Наряду с теоретическим обоснованием работы нашего метода, мы также демонстрируем в ходе всесторонних экспериментов, что Voyager значительно превосходит популярные базовые подходы, обеспечивая повышение разнообразия в 1,5–3 раза.

English

Large language models (LLMs) are increasingly being used to generate synthetic datasets for the evaluation and training of downstream models. However, prior work has noted that such generated data lacks diversity. In this paper, we propose Voyager, a novel principled approach to generate diverse datasets. Our approach is iterative and directly optimizes a mathematical quantity that optimizes the diversity of the dataset using the machinery of determinantal point processes. Furthermore, our approach is training-free, applicable to closed-source models, and scalable. In addition to providing theoretical justification for the working of our method, we also demonstrate through comprehensive experiments that Voyager significantly outperforms popular baseline approaches by providing a 1.5-3x improvement in diversity.