Les modèles de langage open source surpassent les travailleurs humains et se rapprochent de ChatGPT dans les tâches d'annotation de texte.

Open-Source Large Language Models Outperform Crowd Workers and Approach ChatGPT in Text-Annotation Tasks

July 5, 2023

Auteurs: Meysam Alizadeh, Maël Kubli, Zeynab Samei, Shirin Dehghani, Juan Diego Bermeo, Maria Korobeynikova, Fabrizio Gilardi

cs.AI

Résumé

Cette étude examine les performances des modèles de langage de grande taille (LLM) open source dans les tâches d'annotation de texte et les compare avec des modèles propriétaires comme ChatGPT et des services basés sur l'humain tels que MTurk. Alors que des recherches antérieures ont démontré les performances élevées de ChatGPT dans de nombreuses tâches de traitement du langage naturel (NLP), les LLM open source comme HugginChat et FLAN attirent l'attention pour leur rentabilité, transparence, reproductibilité et protection supérieure des données. Nous évaluons ces modèles en utilisant à la fois des approches zero-shot et few-shot, ainsi que différents paramètres de température, sur une variété de tâches d'annotation de texte. Nos résultats montrent que si ChatGPT obtient les meilleures performances dans la plupart des tâches, les LLM open source surpassent non seulement MTurk, mais démontrent également un potentiel compétitif face à ChatGPT dans des tâches spécifiques.

English

This study examines the performance of open-source Large Language Models (LLMs) in text annotation tasks and compares it with proprietary models like ChatGPT and human-based services such as MTurk. While prior research demonstrated the high performance of ChatGPT across numerous NLP tasks, open-source LLMs like HugginChat and FLAN are gaining attention for their cost-effectiveness, transparency, reproducibility, and superior data protection. We assess these models using both zero-shot and few-shot approaches and different temperature parameters across a range of text annotation tasks. Our findings show that while ChatGPT achieves the best performance in most tasks, open-source LLMs not only outperform MTurk but also demonstrate competitive potential against ChatGPT in specific tasks.