Unitxt: Flexibele, deelbare en herbruikbare gegevensvoorbereiding en evaluatie voor generatieve AI
Unitxt: Flexible, Shareable and Reusable Data Preparation and Evaluation for Generative AI
January 25, 2024
Auteurs: Elron Bandel, Yotam Perlitz, Elad Venezian, Roni Friedman-Melamed, Ofir Arviv, Matan Orbach, Shachar Don-Yehyia, Dafna Sheinwald, Ariel Gera, Leshem Choshen, Michal Shmueli-Scheuer, Yoav Katz
cs.AI
Samenvatting
In het dynamische landschap van generatieve NLP beperken traditionele tekstverwerkingspijplijnen de onderzoeksflexibiliteit en reproduceerbaarheid, omdat ze zijn afgestemd op specifieke dataset-, taak- en modelcombinaties. De toenemende complexiteit, met systeemprompts, modelspecifieke formaten, instructies en meer, vraagt om een verschuiving naar een gestructureerde, modulaire en aanpasbare oplossing. Om aan deze behoefte tegemoet te komen, presenteren we Unitxt, een innovatieve bibliotheek voor aanpasbare tekstuele gegevensvoorbereiding en evaluatie, afgestemd op generatieve taalmodelen. Unitxt integreert naadloos met veelgebruikte bibliotheken zoals HuggingFace en LM-eval-harness en ontleedt verwerkingsstromen in modulaire componenten, waardoor eenvoudige aanpassing en uitwisseling tussen praktijkmensen mogelijk wordt. Deze componenten omvatten modelspecifieke formaten, taakprompts en vele andere uitgebreide datasetverwerkingsdefinities. De Unitxt-Catalogus centraliseert deze componenten, wat samenwerking en exploratie in moderne tekstuele gegevensworkflows bevordert. Unitxt is meer dan alleen een tool; het is een door de gemeenschap gedreven platform dat gebruikers in staat stelt om hun pijplijnen gezamenlijk te bouwen, te delen en verder te ontwikkelen. Sluit je aan bij de Unitxt-gemeenschap op https://github.com/IBM/unitxt!
English
In the dynamic landscape of generative NLP, traditional text processing
pipelines limit research flexibility and reproducibility, as they are tailored
to specific dataset, task, and model combinations. The escalating complexity,
involving system prompts, model-specific formats, instructions, and more, calls
for a shift to a structured, modular, and customizable solution. Addressing
this need, we present Unitxt, an innovative library for customizable textual
data preparation and evaluation tailored to generative language models. Unitxt
natively integrates with common libraries like HuggingFace and LM-eval-harness
and deconstructs processing flows into modular components, enabling easy
customization and sharing between practitioners. These components encompass
model-specific formats, task prompts, and many other comprehensive dataset
processing definitions. The Unitxt-Catalog centralizes these components,
fostering collaboration and exploration in modern textual data workflows.
Beyond being a tool, Unitxt is a community-driven platform, empowering users to
build, share, and advance their pipelines collaboratively. Join the Unitxt
community at https://github.com/IBM/unitxt!