El Impacto del Material con Derechos de Autor en Modelos de Lenguaje Grandes: Una Perspectiva Noruega

The Impact of Copyrighted Material on Large Language Models: A Norwegian Perspective

December 12, 2024

Autores: Javier de la Rosa, Vladislav Mikhailov, Lemei Zhang, Freddy Wetjen, David Samuel, Peng Liu, Rolv-Arild Braaten, Petter Mæhlum, Magnus Breder Birkenes, Andrey Kutuzov, Tita Enstad, Svein Arne Brygfjeld, Jon Atle Gulla, Stephan Oepen, Erik Velldal, Wilfred Østgulen, Liljia Øvrelid, Aslak Sira Myhre

cs.AI

Resumen

El uso de materiales con derechos de autor en el entrenamiento de modelos de lenguaje generativo plantea preguntas legales y éticas críticas. Este documento presenta un marco y los resultados de evaluar empíricamente el impacto de los materiales con derechos de autor en el rendimiento de grandes modelos de lenguaje (LLMs) para el noruego. Descubrimos que tanto los libros como los periódicos contribuyen positivamente cuando los modelos son evaluados en un conjunto diverso de pruebas noruegas, mientras que las obras de ficción posiblemente conducen a un rendimiento disminuido. Nuestros experimentos podrían informar la creación de un esquema de compensación para autores cuyas obras contribuyen al desarrollo de la IA.

English

The use of copyrighted materials in training generative language models raises critical legal and ethical questions. This paper presents a framework for and the results of empirically assessing the impact of copyrighted materials on the performance of large language models (LLMs) for Norwegian. We found that both books and newspapers contribute positively when the models are evaluated on a diverse set of Norwegian benchmarks, while fiction works possibly lead to decreased performance. Our experiments could inform the creation of a compensation scheme for authors whose works contribute to AI development.