Unitxt: Preparación y evaluación de datos flexible, compartible y reutilizable para IA generativa

Unitxt: Flexible, Shareable and Reusable Data Preparation and Evaluation for Generative AI

January 25, 2024

Autores: Elron Bandel, Yotam Perlitz, Elad Venezian, Roni Friedman-Melamed, Ofir Arviv, Matan Orbach, Shachar Don-Yehyia, Dafna Sheinwald, Ariel Gera, Leshem Choshen, Michal Shmueli-Scheuer, Yoav Katz

cs.AI

Resumen

En el dinámico panorama de la PNL generativa, los pipelines tradicionales de procesamiento de texto limitan la flexibilidad y reproducibilidad de la investigación, ya que están diseñados para combinaciones específicas de conjuntos de datos, tareas y modelos. La creciente complejidad, que involucra indicaciones del sistema, formatos específicos de modelos, instrucciones y más, exige un cambio hacia una solución estructurada, modular y personalizable. Para abordar esta necesidad, presentamos Unitxt, una biblioteca innovadora para la preparación y evaluación personalizable de datos textuales, diseñada específicamente para modelos de lenguaje generativo. Unitxt se integra de forma nativa con bibliotecas comunes como HuggingFace y LM-eval-harness, y descompone los flujos de procesamiento en componentes modulares, lo que permite una fácil personalización y compartición entre profesionales. Estos componentes abarcan formatos específicos de modelos, indicaciones de tareas y muchas otras definiciones integrales de procesamiento de conjuntos de datos. El Catálogo Unitxt centraliza estos componentes, fomentando la colaboración y la exploración en flujos de trabajo modernos de datos textuales. Más que una herramienta, Unitxt es una plataforma impulsada por la comunidad, que empodera a los usuarios para construir, compartir y avanzar en sus pipelines de manera colaborativa. ¡Únete a la comunidad Unitxt en https://github.com/IBM/unitxt!

English

In the dynamic landscape of generative NLP, traditional text processing pipelines limit research flexibility and reproducibility, as they are tailored to specific dataset, task, and model combinations. The escalating complexity, involving system prompts, model-specific formats, instructions, and more, calls for a shift to a structured, modular, and customizable solution. Addressing this need, we present Unitxt, an innovative library for customizable textual data preparation and evaluation tailored to generative language models. Unitxt natively integrates with common libraries like HuggingFace and LM-eval-harness and deconstructs processing flows into modular components, enabling easy customization and sharing between practitioners. These components encompass model-specific formats, task prompts, and many other comprehensive dataset processing definitions. The Unitxt-Catalog centralizes these components, fostering collaboration and exploration in modern textual data workflows. Beyond being a tool, Unitxt is a community-driven platform, empowering users to build, share, and advance their pipelines collaboratively. Join the Unitxt community at https://github.com/IBM/unitxt!