Catwalk: Um Framework Unificado de Avaliação de Modelos de Linguagem para Múltiplos Conjuntos de Dados

Catwalk: A Unified Language Model Evaluation Framework for Many Datasets

December 15, 2023

Autores: Dirk Groeneveld, Anas Awadalla, Iz Beltagy, Akshita Bhagia, Ian Magnusson, Hao Peng, Oyvind Tafjord, Pete Walsh, Kyle Richardson, Jesse Dodge

cs.AI

Resumo

O sucesso dos grandes modelos de linguagem mudou os paradigmas de avaliação no processamento de linguagem natural (PLN). O interesse da comunidade tem se voltado para a comparação de modelos de PLN em diversas tarefas, domínios e conjuntos de dados, muitas vezes em uma escala extrema. Isso impõe novos desafios de engenharia: os esforços na construção de conjuntos de dados e modelos têm sido fragmentados, e seus formatos e interfaces são incompatíveis. Como resultado, muitas vezes são necessários esforços extensos de (re)implementação para fazer comparações justas e controladas em larga escala. O Catwalk visa resolver esses problemas. O Catwalk fornece uma interface unificada para uma ampla gama de conjuntos de dados e modelos de PLN existentes, desde o treinamento supervisionado canônico e o ajuste fino, até paradigmas mais modernos, como o aprendizado em contexto. Suas abstrações cuidadosamente projetadas permitem extensões fáceis para muitos outros. O Catwalk reduz substancialmente as barreiras para a realização de experimentos controlados em larga escala. Por exemplo, ajustamos e avaliamos mais de 64 modelos em mais de 86 conjuntos de dados com um único comando, sem escrever nenhum código. Mantido pela equipe do AllenNLP no Allen Institute for Artificial Intelligence (AI2), o Catwalk é um esforço contínuo de código aberto: https://github.com/allenai/catwalk.

English

The success of large language models has shifted the evaluation paradigms in natural language processing (NLP). The community's interest has drifted towards comparing NLP models across many tasks, domains, and datasets, often at an extreme scale. This imposes new engineering challenges: efforts in constructing datasets and models have been fragmented, and their formats and interfaces are incompatible. As a result, it often takes extensive (re)implementation efforts to make fair and controlled comparisons at scale. Catwalk aims to address these issues. Catwalk provides a unified interface to a broad range of existing NLP datasets and models, ranging from both canonical supervised training and fine-tuning, to more modern paradigms like in-context learning. Its carefully-designed abstractions allow for easy extensions to many others. Catwalk substantially lowers the barriers to conducting controlled experiments at scale. For example, we finetuned and evaluated over 64 models on over 86 datasets with a single command, without writing any code. Maintained by the AllenNLP team at the Allen Institute for Artificial Intelligence (AI2), Catwalk is an ongoing open-source effort: https://github.com/allenai/catwalk.