L'Impact du Matériel Protégé par le Droit d'Auteur sur les Grands Modèles Linguistiques : Une Perspective Norvégienne

The Impact of Copyrighted Material on Large Language Models: A Norwegian Perspective

December 12, 2024

Auteurs: Javier de la Rosa, Vladislav Mikhailov, Lemei Zhang, Freddy Wetjen, David Samuel, Peng Liu, Rolv-Arild Braaten, Petter Mæhlum, Magnus Breder Birkenes, Andrey Kutuzov, Tita Enstad, Svein Arne Brygfjeld, Jon Atle Gulla, Stephan Oepen, Erik Velldal, Wilfred Østgulen, Liljia Øvrelid, Aslak Sira Myhre

cs.AI

Résumé

L'utilisation de matériaux protégés par des droits d'auteur dans la formation de modèles de langage génératif soulève des questions juridiques et éthiques cruciales. Cet article présente un cadre et les résultats de l'évaluation empirique de l'impact des matériaux protégés par des droits d'auteur sur les performances des grands modèles de langage (LLM) pour le norvégien. Nous avons constaté que les livres et les journaux contribuent de manière positive lorsque les modèles sont évalués sur un ensemble diversifié de référentiels norvégiens, tandis que les œuvres de fiction peuvent entraîner une baisse des performances. Nos expériences pourraient éclairer la création d'un système de compensation pour les auteurs dont les œuvres contribuent au développement de l'IA.

English

The use of copyrighted materials in training generative language models raises critical legal and ethical questions. This paper presents a framework for and the results of empirically assessing the impact of copyrighted materials on the performance of large language models (LLMs) for Norwegian. We found that both books and newspapers contribute positively when the models are evaluated on a diverse set of Norwegian benchmarks, while fiction works possibly lead to decreased performance. Our experiments could inform the creation of a compensation scheme for authors whose works contribute to AI development.