Unitxt: Flexible, gemeinsam nutzbare und wiederverwendbare Datenvorbereitung und Evaluation für Generative KI

Unitxt: Flexible, Shareable and Reusable Data Preparation and Evaluation for Generative AI

January 25, 2024

Autoren: Elron Bandel, Yotam Perlitz, Elad Venezian, Roni Friedman-Melamed, Ofir Arviv, Matan Orbach, Shachar Don-Yehyia, Dafna Sheinwald, Ariel Gera, Leshem Choshen, Michal Shmueli-Scheuer, Yoav Katz

cs.AI

Zusammenfassung

In der dynamischen Landschaft des generativen NLP schränken traditionelle Textverarbeitungspipelines die Forschungsflexibilität und Reproduzierbarkeit ein, da sie auf spezifische Kombinationen von Datensätzen, Aufgaben und Modellen zugeschnitten sind. Die zunehmende Komplexität, die Systemprompts, modellspezifische Formate, Anweisungen und mehr umfasst, erfordert einen Wechsel zu einer strukturierten, modularen und anpassbaren Lösung. Um diesem Bedarf gerecht zu werden, präsentieren wir Unitxt, eine innovative Bibliothek für die anpassbare Vorbereitung und Bewertung von Textdaten, die speziell für generative Sprachmodelle entwickelt wurde. Unitxt integriert sich nahtlos in gängige Bibliotheken wie HuggingFace und LM-eval-harness und zerlegt Verarbeitungsabläufe in modulare Komponenten, wodurch eine einfache Anpassung und gemeinsame Nutzung zwischen Praktikern ermöglicht wird. Diese Komponenten umfassen modellspezifische Formate, Aufgabenprompts und viele andere umfassende Definitionen zur Datensatzverarbeitung. Der Unitxt-Katalog zentralisiert diese Komponenten und fördert die Zusammenarbeit und Exploration in modernen Textdaten-Workflows. Unitxt ist mehr als nur ein Werkzeug; es ist eine community-gesteuerte Plattform, die Nutzer befähigt, ihre Pipelines gemeinsam zu erstellen, zu teilen und weiterzuentwickeln. Werden Sie Teil der Unitxt-Community unter https://github.com/IBM/unitxt!

English

In the dynamic landscape of generative NLP, traditional text processing pipelines limit research flexibility and reproducibility, as they are tailored to specific dataset, task, and model combinations. The escalating complexity, involving system prompts, model-specific formats, instructions, and more, calls for a shift to a structured, modular, and customizable solution. Addressing this need, we present Unitxt, an innovative library for customizable textual data preparation and evaluation tailored to generative language models. Unitxt natively integrates with common libraries like HuggingFace and LM-eval-harness and deconstructs processing flows into modular components, enabling easy customization and sharing between practitioners. These components encompass model-specific formats, task prompts, and many other comprehensive dataset processing definitions. The Unitxt-Catalog centralizes these components, fostering collaboration and exploration in modern textual data workflows. Beyond being a tool, Unitxt is a community-driven platform, empowering users to build, share, and advance their pipelines collaboratively. Join the Unitxt community at https://github.com/IBM/unitxt!