Il Paradosso dell'IA Generativa: "Ciò che può creare, potrebbe non comprendere"

The Generative AI Paradox: "What It Can Create, It May Not Understand"

October 31, 2023

Autori: Peter West, Ximing Lu, Nouha Dziri, Faeze Brahman, Linjie Li, Jena D. Hwang, Liwei Jiang, Jillian Fisher, Abhilasha Ravichander, Khyathi Chandu, Benjamin Newman, Pang Wei Koh, Allyson Ettinger, Yejin Choi

cs.AI

Abstract

La recente ondata di intelligenza artificiale generativa ha suscitato un'attenzione globale senza precedenti, con entusiasmo e preoccupazione per potenziali livelli sovrumani di intelligenza artificiale: i modelli ora impiegano solo pochi secondi per produrre risultati che sfiderebbero o supererebbero le capacità persino di esperti umani. Allo stesso tempo, i modelli mostrano ancora errori di base nella comprensione che non ci si aspetterebbe nemmeno da esseri umani non esperti. Questo ci presenta un apparente paradosso: come conciliare capacità apparentemente sovrumane con la persistenza di errori che pochi esseri umani commetterebbero? In questo lavoro, ipotizziamo che questa tensione rifletta una divergenza nella configurazione dell'intelligenza nei modelli generativi odierni rispetto all'intelligenza umana. Nello specifico, proponiamo e testiamo l'ipotesi del Paradosso dell'IA Generativa: i modelli generativi, essendo stati addestrati direttamente a riprodurre output simili a quelli di esperti, acquisiscono capacità generative che non dipendono – e possono quindi superare – la loro capacità di comprendere quegli stessi tipi di output. Questo contrasta con gli esseri umani, per i quali una comprensione di base quasi sempre precede la capacità di generare output di livello esperto. Testiamo questa ipotesi attraverso esperimenti controllati che analizzano la generazione rispetto alla comprensione nei modelli generativi, sia nel linguaggio che nelle immagini. I nostri risultati mostrano che, sebbene i modelli possano superare gli esseri umani nella generazione, sono costantemente inferiori alle capacità umane nelle misure di comprensione, oltre a una correlazione più debole tra le prestazioni di generazione e comprensione, e una maggiore fragilità agli input avversari. Le nostre scoperte supportano l'ipotesi che la capacità generativa dei modelli potrebbe non dipendere dalla capacità di comprensione, e invitano alla cautela nell'interpretare l'intelligenza artificiale per analogia con l'intelligenza umana.

English

The recent wave of generative AI has sparked unprecedented global attention, with both excitement and concern over potentially superhuman levels of artificial intelligence: models now take only seconds to produce outputs that would challenge or exceed the capabilities even of expert humans. At the same time, models still show basic errors in understanding that would not be expected even in non-expert humans. This presents us with an apparent paradox: how do we reconcile seemingly superhuman capabilities with the persistence of errors that few humans would make? In this work, we posit that this tension reflects a divergence in the configuration of intelligence in today's generative models relative to intelligence in humans. Specifically, we propose and test the Generative AI Paradox hypothesis: generative models, having been trained directly to reproduce expert-like outputs, acquire generative capabilities that are not contingent upon -- and can therefore exceed -- their ability to understand those same types of outputs. This contrasts with humans, for whom basic understanding almost always precedes the ability to generate expert-level outputs. We test this hypothesis through controlled experiments analyzing generation vs. understanding in generative models, across both language and image modalities. Our results show that although models can outperform humans in generation, they consistently fall short of human capabilities in measures of understanding, as well as weaker correlation between generation and understanding performance, and more brittleness to adversarial inputs. Our findings support the hypothesis that models' generative capability may not be contingent upon understanding capability, and call for caution in interpreting artificial intelligence by analogy to human intelligence.