Unitxt : Préparation et évaluation des données flexibles, partageables et réutilisables pour l'IA générative

Unitxt: Flexible, Shareable and Reusable Data Preparation and Evaluation for Generative AI

January 25, 2024

Auteurs: Elron Bandel, Yotam Perlitz, Elad Venezian, Roni Friedman-Melamed, Ofir Arviv, Matan Orbach, Shachar Don-Yehyia, Dafna Sheinwald, Ariel Gera, Leshem Choshen, Michal Shmueli-Scheuer, Yoav Katz

cs.AI

Résumé

Dans le paysage dynamique du NLP génératif, les pipelines traditionnels de traitement de texte limitent la flexibilité et la reproductibilité de la recherche, car ils sont conçus pour des combinaisons spécifiques de jeux de données, de tâches et de modèles. La complexité croissante, impliquant des prompts système, des formats spécifiques aux modèles, des instructions et bien plus encore, appelle un changement vers une solution structurée, modulaire et personnalisable. Pour répondre à ce besoin, nous présentons Unitxt, une bibliothèque innovante pour la préparation et l'évaluation personnalisées de données textuelles adaptées aux modèles de langage génératifs. Unitxt s'intègre nativement avec des bibliothèques courantes comme HuggingFace et LM-eval-harness et décompose les flux de traitement en composants modulaires, permettant une personnalisation et un partage faciles entre les praticiens. Ces composants englobent des formats spécifiques aux modèles, des prompts de tâches et de nombreuses autres définitions complètes de traitement de jeux de données. Le Catalogue Unitxt centralise ces composants, favorisant la collaboration et l'exploration dans les workflows modernes de données textuelles. Plus qu'un simple outil, Unitxt est une plateforme communautaire, permettant aux utilisateurs de construire, partager et faire progresser leurs pipelines de manière collaborative. Rejoignez la communauté Unitxt sur https://github.com/IBM/unitxt !

English

In the dynamic landscape of generative NLP, traditional text processing pipelines limit research flexibility and reproducibility, as they are tailored to specific dataset, task, and model combinations. The escalating complexity, involving system prompts, model-specific formats, instructions, and more, calls for a shift to a structured, modular, and customizable solution. Addressing this need, we present Unitxt, an innovative library for customizable textual data preparation and evaluation tailored to generative language models. Unitxt natively integrates with common libraries like HuggingFace and LM-eval-harness and deconstructs processing flows into modular components, enabling easy customization and sharing between practitioners. These components encompass model-specific formats, task prompts, and many other comprehensive dataset processing definitions. The Unitxt-Catalog centralizes these components, fostering collaboration and exploration in modern textual data workflows. Beyond being a tool, Unitxt is a community-driven platform, empowering users to build, share, and advance their pipelines collaboratively. Join the Unitxt community at https://github.com/IBM/unitxt!