O Impacto de Material Protegido por Direitos Autorais em Modelos de Linguagem de Grande Escala: Uma Perspectiva Norueguesa

The Impact of Copyrighted Material on Large Language Models: A Norwegian Perspective

December 12, 2024

Autores: Javier de la Rosa, Vladislav Mikhailov, Lemei Zhang, Freddy Wetjen, David Samuel, Peng Liu, Rolv-Arild Braaten, Petter Mæhlum, Magnus Breder Birkenes, Andrey Kutuzov, Tita Enstad, Svein Arne Brygfjeld, Jon Atle Gulla, Stephan Oepen, Erik Velldal, Wilfred Østgulen, Liljia Øvrelid, Aslak Sira Myhre

cs.AI

Resumo

O uso de materiais protegidos por direitos autorais no treinamento de modelos de linguagem generativa levanta questões legais e éticas críticas. Este artigo apresenta um framework e os resultados da avaliação empírica do impacto de materiais protegidos por direitos autorais no desempenho de grandes modelos de linguagem (LLMs) para o norueguês. Descobrimos que tanto livros quanto jornais contribuem positivamente quando os modelos são avaliados em um conjunto diversificado de benchmarks noruegueses, enquanto obras de ficção possivelmente levam a uma diminuição no desempenho. Nossos experimentos poderiam informar a criação de um esquema de compensação para autores cujas obras contribuem para o desenvolvimento de IA.

English

The use of copyrighted materials in training generative language models raises critical legal and ethical questions. This paper presents a framework for and the results of empirically assessing the impact of copyrighted materials on the performance of large language models (LLMs) for Norwegian. We found that both books and newspapers contribute positively when the models are evaluated on a diverse set of Norwegian benchmarks, while fiction works possibly lead to decreased performance. Our experiments could inform the creation of a compensation scheme for authors whose works contribute to AI development.