Catwalk: Een Uniform Evaluatiekader voor Taalmodellen op Meerdere Datasets

Catwalk: A Unified Language Model Evaluation Framework for Many Datasets

December 15, 2023

Auteurs: Dirk Groeneveld, Anas Awadalla, Iz Beltagy, Akshita Bhagia, Ian Magnusson, Hao Peng, Oyvind Tafjord, Pete Walsh, Kyle Richardson, Jesse Dodge

cs.AI

Samenvatting

Het succes van grote taalmodel(len) heeft de evaluatieparadigma's in natuurlijke taalverwerking (NLP) verschoven. De interesse van de gemeenschap is verschoven naar het vergelijken van NLP-modellen over vele taken, domeinen en datasets, vaak op een extreme schaal. Dit brengt nieuwe technische uitdagingen met zich mee: inspanningen voor het construeren van datasets en modellen zijn gefragmenteerd geweest, en hun formaten en interfaces zijn incompatibel. Als gevolg hiervan vergt het vaak uitgebreide (her)implementatie-inspanningen om eerlijke en gecontroleerde vergelijkingen op schaal te maken. Catwalk heeft als doel deze problemen aan te pakken. Catwalk biedt een uniforme interface voor een breed scala aan bestaande NLP-datasets en -modellen, variërend van zowel canonieke supervised training en fine-tuning, tot meer moderne paradigma's zoals in-context learning. Zijn zorgvuldig ontworpen abstracties maken eenvoudige uitbreidingen naar vele anderen mogelijk. Catwalk verlaagt aanzienlijk de drempels voor het uitvoeren van gecontroleerde experimenten op schaal. Zo hebben we bijvoorbeeld meer dan 64 modellen gefinetuned en geëvalueerd op meer dan 86 datasets met een enkele opdracht, zonder enige code te schrijven. Onderhouden door het AllenNLP-team van het Allen Institute for Artificial Intelligence (AI2), is Catwalk een doorlopende open-source-inspanning: https://github.com/allenai/catwalk.

English

The success of large language models has shifted the evaluation paradigms in natural language processing (NLP). The community's interest has drifted towards comparing NLP models across many tasks, domains, and datasets, often at an extreme scale. This imposes new engineering challenges: efforts in constructing datasets and models have been fragmented, and their formats and interfaces are incompatible. As a result, it often takes extensive (re)implementation efforts to make fair and controlled comparisons at scale. Catwalk aims to address these issues. Catwalk provides a unified interface to a broad range of existing NLP datasets and models, ranging from both canonical supervised training and fine-tuning, to more modern paradigms like in-context learning. Its carefully-designed abstractions allow for easy extensions to many others. Catwalk substantially lowers the barriers to conducting controlled experiments at scale. For example, we finetuned and evaluated over 64 models on over 86 datasets with a single command, without writing any code. Maintained by the AllenNLP team at the Allen Institute for Artificial Intelligence (AI2), Catwalk is an ongoing open-source effort: https://github.com/allenai/catwalk.