Demenza del Modello: I Dati Generati Fanno Dimenticare i Modelli

Model Dementia: Generated Data Makes Models Forget

May 27, 2023

Autori: Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Yarin Gal, Nicolas Papernot, Ross Anderson

cs.AI

Abstract

Stable Diffusion ha rivoluzionato la creazione di immagini a partire da descrizioni testuali. GPT-2, GPT-3(.5) e GPT-4 hanno dimostrato prestazioni sorprendenti in una varietà di compiti linguistici. ChatGPT ha portato questi modelli linguistici al grande pubblico. È ormai chiaro che i grandi modelli linguistici (LLM) sono destinati a rimanere e porteranno cambiamenti drastici nell'intero ecosistema di testi e immagini online. In questo articolo consideriamo cosa potrebbe riservare il futuro. Cosa accadrà a GPT-{n} una volta che gli LLM contribuiranno a gran parte del linguaggio trovato online? Scopriamo che l'uso di contenuti generati da modelli durante l'addestramento causa difetti irreversibili nei modelli risultanti, dove le code della distribuzione originale del contenuto scompaiono. Chiamiamo questo effetto "demenza del modello" e dimostriamo che può verificarsi negli Autoencoder Variazionali (VAE), nei Modelli a Mistura Gaussiana (GMM) e negli LLM. Costruiamo un'intuizione teorica dietro il fenomeno e ne illustriamo l'ubiquità tra tutti i modelli generativi appresi. Dimostriamo che deve essere preso seriamente se vogliamo mantenere i benefici dell'addestramento su dati su larga scala raccolti dal web. In effetti, il valore dei dati raccolti sulle interazioni autentiche degli esseri umani con i sistemi sarà sempre più prezioso in presenza di contenuti generati da LLM nei dati estratti da Internet.

English

Stable Diffusion revolutionised image creation from descriptive text. GPT-2, GPT-3(.5) and GPT-4 demonstrated astonishing performance across a variety of language tasks. ChatGPT introduced such language models to the general public. It is now clear that large language models (LLMs) are here to stay, and will bring about drastic change in the whole ecosystem of online text and images. In this paper we consider what the future might hold. What will happen to GPT-{n} once LLMs contribute much of the language found online? We find that use of model-generated content in training causes irreversible defects in the resulting models, where tails of the original content distribution disappear. We call this effect model dementia and show that it can occur in Variational Autoencoders (VAEs), Gaussian Mixture Models (GMMs) and LLMs. We build theoretical intuition behind the phenomenon and portray its ubiquity amongst all learned generative models. We demonstrate that it has to be taken seriously if we are to sustain the benefits of training from large-scale data scraped from the web. Indeed, the value of data collected about genuine human interactions with systems will be increasingly valuable in the presence of content generated by LLMs in data crawled from the Internet.