ZIP-FIT: Выбор данных без встраивания через выравнивание на основе сжатия

ZIP-FIT: Embedding-Free Data Selection via Compression-Based Alignment

October 23, 2024

Авторы: Elyas Obbad, Iddah Mlauzi, Brando Miranda, Rylan Schaeffer, Kamal Obbad, Suhana Bedi, Sanmi Koyejo

cs.AI

Аннотация

Выбор данных имеет решающее значение для оптимизации производительности языковой модели (LM) на конкретных задачах, однако большинство существующих методов не учитывают целевое распределение задачи эффективно. Существующие подходы либо полностью игнорируют требования, специфичные для задачи, либо полагаются на приближения, которые не улавливают тонкие шаблоны, необходимые для задач, таких как автоформализация или генерация кода. Методы, которые учитывают целевое распределение, часто полагаются на упрощенные, иногда шумные, представления, такие как хэшированные n-граммные признаки, которые могут привести к коллизиям и внесению шума. Мы представляем ZIP-FIT, фреймворк выбора данных, который использует сжатие gzip для непосредственного измерения соответствия потенциальных обучающих данных и целевого распределения задачи. В обширных оценках автоформализации и генерации кода на Python ZIP-FIT значительно превосходит ведущие базовые уровни, такие как DSIR и D4. Модели, обученные на данных, отобранных с помощью ZIP-FIT, достигают своих наименьших потерь перекрестной энтропии до 85,1\% быстрее, чем базовые уровни, демонстрируя, что лучшее соответствие задаче приводит к более эффективному обучению. Кроме того, ZIP-FIT выполняет выбор данных до 65,8\% быстрее, чем DSIR, и на два порядка быстрее, чем D4. Строго говоря, ZIP-FIT показывает, что меньшие, хорошо соотнесенные наборы данных часто превосходят более крупные, но менее целевые, демонстрируя, что небольшое количество данных более высокого качества превосходит большое количество данных более низкого качества. Наши результаты подразумевают, что осознанный выбор данных, учитывающий задачу, имеет решающее значение для эффективной адаптации к домену, и что сжатие предлагает принципиальный способ измерения соответствия задаче. Показав, что целевой выбор данных может значительно улучшить производительность, специфичную для задачи, наша работа предоставляет новые идеи относительно взаимосвязи между качеством данных, соответствием задаче и эффективностью обучения модели.

English

Data selection is crucial for optimizing language model (LM) performance on specific tasks, yet most existing methods fail to effectively consider the target task distribution. Current approaches either ignore task-specific requirements entirely or rely on approximations that fail to capture the nuanced patterns needed for tasks like Autoformalization or code generation. Methods that do consider the target distribution often rely on simplistic, sometimes noisy, representations, like hashed n-gram features, which can lead to collisions and introduce noise. We introduce ZIP-FIT, a data selection framework that uses gzip compression to directly measure alignment between potential training data and the target task distribution. In extensive evaluations on Autoformalization and Python code generation, ZIP-FIT significantly outperforms leading baselines like DSIR and D4. Models trained on ZIP-FIT-selected data achieve their lowest cross-entropy loss up to 85.1\% faster than baselines, demonstrating that better task alignment leads to more efficient learning. In addition, ZIP-FIT performs selection up to 65.8\% faster than DSIR and two orders of magnitude faster than D4. Notably, ZIP-FIT shows that smaller, well-aligned datasets often outperform larger but less targeted ones, demonstrating that a small amount of higher quality data is superior to a large amount of lower quality data. Our results imply that task-aware data selection is crucial for efficient domain adaptation, and that compression offers a principled way to measure task alignment. By showing that targeted data selection can dramatically improve task-specific performance, our work provides new insights into the relationship between data quality, task alignment, and model learning efficiency.