Unitxt: Preparazione e Valutazione dei Dati Flessibile, Condivisibile e Riusabile per l'Intelligenza Artificiale Generativa

Unitxt: Flexible, Shareable and Reusable Data Preparation and Evaluation for Generative AI

January 25, 2024

Autori: Elron Bandel, Yotam Perlitz, Elad Venezian, Roni Friedman-Melamed, Ofir Arviv, Matan Orbach, Shachar Don-Yehyia, Dafna Sheinwald, Ariel Gera, Leshem Choshen, Michal Shmueli-Scheuer, Yoav Katz

cs.AI

Abstract

Nel panorama dinamico della NLP generativa, le tradizionali pipeline di elaborazione del testo limitano la flessibilità e la riproducibilità della ricerca, poiché sono progettate per combinazioni specifiche di dataset, task e modelli. La crescente complessità, che coinvolge prompt di sistema, formati specifici per i modelli, istruzioni e altro, richiede un passaggio verso una soluzione strutturata, modulare e personalizzabile. Per rispondere a questa esigenza, presentiamo Unitxt, una libreria innovativa per la preparazione e la valutazione personalizzabile dei dati testuali, progettata per i modelli linguistici generativi. Unitxt si integra nativamente con librerie comuni come HuggingFace e LM-eval-harness e scompone i flussi di elaborazione in componenti modulari, consentendo una facile personalizzazione e condivisione tra i professionisti. Questi componenti includono formati specifici per i modelli, prompt per i task e molte altre definizioni complete di elaborazione dei dataset. Il Unitxt-Catalog centralizza questi componenti, promuovendo la collaborazione e l'esplorazione nei moderni flussi di lavoro sui dati testuali. Oltre a essere uno strumento, Unitxt è una piattaforma guidata dalla comunità, che consente agli utenti di costruire, condividere e far progredire le proprie pipeline in modo collaborativo. Unisciti alla comunità Unitxt su https://github.com/IBM/unitxt!

English

In the dynamic landscape of generative NLP, traditional text processing pipelines limit research flexibility and reproducibility, as they are tailored to specific dataset, task, and model combinations. The escalating complexity, involving system prompts, model-specific formats, instructions, and more, calls for a shift to a structured, modular, and customizable solution. Addressing this need, we present Unitxt, an innovative library for customizable textual data preparation and evaluation tailored to generative language models. Unitxt natively integrates with common libraries like HuggingFace and LM-eval-harness and deconstructs processing flows into modular components, enabling easy customization and sharing between practitioners. These components encompass model-specific formats, task prompts, and many other comprehensive dataset processing definitions. The Unitxt-Catalog centralizes these components, fostering collaboration and exploration in modern textual data workflows. Beyond being a tool, Unitxt is a community-driven platform, empowering users to build, share, and advance their pipelines collaboratively. Join the Unitxt community at https://github.com/IBM/unitxt!