De Impact van Auteursrechtelijk Beschermd Materiaal op Grote Taalmodellen: Een Noorse Perspectief

The Impact of Copyrighted Material on Large Language Models: A Norwegian Perspective

December 12, 2024

Auteurs: Javier de la Rosa, Vladislav Mikhailov, Lemei Zhang, Freddy Wetjen, David Samuel, Peng Liu, Rolv-Arild Braaten, Petter Mæhlum, Magnus Breder Birkenes, Andrey Kutuzov, Tita Enstad, Svein Arne Brygfjeld, Jon Atle Gulla, Stephan Oepen, Erik Velldal, Wilfred Østgulen, Liljia Øvrelid, Aslak Sira Myhre

cs.AI

Samenvatting

Het gebruik van auteursrechtelijk beschermd materiaal bij het trainen van generatieve taalmodellen roept kritische juridische en ethische vragen op. Dit artikel presenteert een kader voor en de resultaten van het empirisch beoordelen van de impact van auteursrechtelijk beschermd materiaal op de prestaties van grote taalmodellen (LLM's) voor het Noors. We hebben vastgesteld dat zowel boeken als kranten een positieve bijdrage leveren wanneer de modellen worden geëvalueerd op een divers scala van Noorse benchmarks, terwijl fictiewerken mogelijk leiden tot verminderde prestaties. Onze experimenten zouden kunnen bijdragen aan de ontwikkeling van een compensatieregeling voor auteurs wiens werken bijdragen aan de ontwikkeling van AI.

English

The use of copyrighted materials in training generative language models raises critical legal and ethical questions. This paper presents a framework for and the results of empirically assessing the impact of copyrighted materials on the performance of large language models (LLMs) for Norwegian. We found that both books and newspapers contribute positively when the models are evaluated on a diverse set of Norwegian benchmarks, while fiction works possibly lead to decreased performance. Our experiments could inform the creation of a compensation scheme for authors whose works contribute to AI development.