Unitxt: Preparação e Avaliação de Dados Flexível, Compartilhável e Reutilizável para IA Generativa
Unitxt: Flexible, Shareable and Reusable Data Preparation and Evaluation for Generative AI
January 25, 2024
Autores: Elron Bandel, Yotam Perlitz, Elad Venezian, Roni Friedman-Melamed, Ofir Arviv, Matan Orbach, Shachar Don-Yehyia, Dafna Sheinwald, Ariel Gera, Leshem Choshen, Michal Shmueli-Scheuer, Yoav Katz
cs.AI
Resumo
No cenário dinâmico da PNL generativa, os pipelines tradicionais de processamento de texto limitam a flexibilidade e a reprodutibilidade da pesquisa, pois são adaptados a combinações específicas de conjuntos de dados, tarefas e modelos. A complexidade crescente, envolvendo prompts de sistema, formatos específicos de modelos, instruções e mais, exige uma mudança para uma solução estruturada, modular e personalizável. Atendendo a essa necessidade, apresentamos o Unitxt, uma biblioteca inovadora para a preparação e avaliação personalizável de dados textuais, projetada para modelos de linguagem generativos. O Unitxt integra-se nativamente a bibliotecas comuns como HuggingFace e LM-eval-harness e desconstroi fluxos de processamento em componentes modulares, permitindo fácil personalização e compartilhamento entre profissionais. Esses componentes abrangem formatos específicos de modelos, prompts de tarefas e muitas outras definições abrangentes de processamento de conjuntos de dados. O Unitxt-Catalog centraliza esses componentes, promovendo colaboração e exploração em fluxos de trabalho modernos de dados textuais. Além de ser uma ferramenta, o Unitxt é uma plataforma impulsionada pela comunidade, capacitando os usuários a construir, compartilhar e avançar seus pipelines de forma colaborativa. Junte-se à comunidade Unitxt em https://github.com/IBM/unitxt!
English
In the dynamic landscape of generative NLP, traditional text processing
pipelines limit research flexibility and reproducibility, as they are tailored
to specific dataset, task, and model combinations. The escalating complexity,
involving system prompts, model-specific formats, instructions, and more, calls
for a shift to a structured, modular, and customizable solution. Addressing
this need, we present Unitxt, an innovative library for customizable textual
data preparation and evaluation tailored to generative language models. Unitxt
natively integrates with common libraries like HuggingFace and LM-eval-harness
and deconstructs processing flows into modular components, enabling easy
customization and sharing between practitioners. These components encompass
model-specific formats, task prompts, and many other comprehensive dataset
processing definitions. The Unitxt-Catalog centralizes these components,
fostering collaboration and exploration in modern textual data workflows.
Beyond being a tool, Unitxt is a community-driven platform, empowering users to
build, share, and advance their pipelines collaboratively. Join the Unitxt
community at https://github.com/IBM/unitxt!