Catwalk: Un Framework Unificato per la Valutazione di Modelli Linguistici su Molti Dataset

Catwalk: A Unified Language Model Evaluation Framework for Many Datasets

December 15, 2023

Autori: Dirk Groeneveld, Anas Awadalla, Iz Beltagy, Akshita Bhagia, Ian Magnusson, Hao Peng, Oyvind Tafjord, Pete Walsh, Kyle Richardson, Jesse Dodge

cs.AI

Abstract

Il successo dei grandi modelli linguistici ha modificato i paradigmi di valutazione nel campo dell'elaborazione del linguaggio naturale (NLP). L'interesse della comunità si è spostato verso il confronto dei modelli NLP su molteplici task, domini e dataset, spesso su scala estremamente ampia. Ciò impone nuove sfide ingegneristiche: gli sforzi nella costruzione di dataset e modelli sono stati frammentati, e i loro formati e interfacce sono incompatibili. Di conseguenza, spesso sono necessari sforzi significativi di (ri)implementazione per effettuare confronti equi e controllati su larga scala. Catwalk mira a risolvere questi problemi. Catwalk fornisce un'interfaccia unificata per una vasta gamma di dataset e modelli NLP esistenti, che vanno dal classico addestramento supervisionato e fine-tuning, a paradigmi più moderni come l'apprendimento in-context. Le sue astrazioni progettate con cura consentono facili estensioni a molti altri. Catwalk riduce sostanzialmente le barriere per condurre esperimenti controllati su larga scala. Ad esempio, abbiamo eseguito il fine-tuning e valutato oltre 64 modelli su più di 86 dataset con un singolo comando, senza scrivere alcun codice. Mantenuto dal team AllenNLP presso l'Allen Institute for Artificial Intelligence (AI2), Catwalk è uno sforzo open-source in corso: https://github.com/allenai/catwalk.

English

The success of large language models has shifted the evaluation paradigms in natural language processing (NLP). The community's interest has drifted towards comparing NLP models across many tasks, domains, and datasets, often at an extreme scale. This imposes new engineering challenges: efforts in constructing datasets and models have been fragmented, and their formats and interfaces are incompatible. As a result, it often takes extensive (re)implementation efforts to make fair and controlled comparisons at scale. Catwalk aims to address these issues. Catwalk provides a unified interface to a broad range of existing NLP datasets and models, ranging from both canonical supervised training and fine-tuning, to more modern paradigms like in-context learning. Its carefully-designed abstractions allow for easy extensions to many others. Catwalk substantially lowers the barriers to conducting controlled experiments at scale. For example, we finetuned and evaluated over 64 models on over 86 datasets with a single command, without writing any code. Maintained by the AllenNLP team at the Allen Institute for Artificial Intelligence (AI2), Catwalk is an ongoing open-source effort: https://github.com/allenai/catwalk.