Catwalk: Ein einheitliches Evaluierungsframework für Sprachmodelle über viele Datensätze hinweg

Catwalk: A Unified Language Model Evaluation Framework for Many Datasets

December 15, 2023

Autoren: Dirk Groeneveld, Anas Awadalla, Iz Beltagy, Akshita Bhagia, Ian Magnusson, Hao Peng, Oyvind Tafjord, Pete Walsh, Kyle Richardson, Jesse Dodge

cs.AI

Zusammenfassung

Der Erfolg großer Sprachmodelle hat die Evaluierungsparadigmen in der natürlichen Sprachverarbeitung (NLP) verändert. Das Interesse der Community hat sich zunehmend darauf verlagert, NLP-Modelle über viele Aufgaben, Domänen und Datensätze hinweg zu vergleichen, oft in einem extremen Maßstab. Dies stellt neue technische Herausforderungen dar: Die Bemühungen beim Aufbau von Datensätzen und Modellen waren fragmentiert, und ihre Formate und Schnittstellen sind inkompatibel. Infolgedessen sind oft umfangreiche (Neu-)Implementierungsarbeiten erforderlich, um faire und kontrollierte Vergleiche in großem Maßstab durchzuführen. Catwalk zielt darauf ab, diese Probleme zu lösen. Catwalk bietet eine einheitliche Schnittstelle zu einer breiten Palette bestehender NLP-Datensätze und -Modelle, die sowohl kanonisches überwachtes Training und Feinabstimmung als auch modernere Paradigmen wie In-Context-Learning umfassen. Seine sorgfältig gestalteten Abstraktionen ermöglichen einfache Erweiterungen auf viele andere. Catwalk senkt die Hürden für die Durchführung kontrollierter Experimente in großem Maßstab erheblich. Beispielsweise haben wir über 64 Modelle auf über 86 Datensätzen mit einem einzigen Befehl feinabgestimmt und evaluiert, ohne Code schreiben zu müssen. Catwalk wird vom AllenNLP-Team am Allen Institute for Artificial Intelligence (AI2) gepflegt und ist ein fortlaufendes Open-Source-Projekt: https://github.com/allenai/catwalk.

English

The success of large language models has shifted the evaluation paradigms in natural language processing (NLP). The community's interest has drifted towards comparing NLP models across many tasks, domains, and datasets, often at an extreme scale. This imposes new engineering challenges: efforts in constructing datasets and models have been fragmented, and their formats and interfaces are incompatible. As a result, it often takes extensive (re)implementation efforts to make fair and controlled comparisons at scale. Catwalk aims to address these issues. Catwalk provides a unified interface to a broad range of existing NLP datasets and models, ranging from both canonical supervised training and fine-tuning, to more modern paradigms like in-context learning. Its carefully-designed abstractions allow for easy extensions to many others. Catwalk substantially lowers the barriers to conducting controlled experiments at scale. For example, we finetuned and evaluated over 64 models on over 86 datasets with a single command, without writing any code. Maintained by the AllenNLP team at the Allen Institute for Artificial Intelligence (AI2), Catwalk is an ongoing open-source effort: https://github.com/allenai/catwalk.