Het Generatieve AI-paradox: "Wat het kan creëren, begrijpt het misschien niet"

The Generative AI Paradox: "What It Can Create, It May Not Understand"

October 31, 2023

Auteurs: Peter West, Ximing Lu, Nouha Dziri, Faeze Brahman, Linjie Li, Jena D. Hwang, Liwei Jiang, Jillian Fisher, Abhilasha Ravichander, Khyathi Chandu, Benjamin Newman, Pang Wei Koh, Allyson Ettinger, Yejin Choi

cs.AI

Samenvatting

De recente golf van generatieve AI heeft ongekende wereldwijde aandacht gewekt, met zowel enthousiasme als zorgen over mogelijk bovenmenselijke niveaus van kunstmatige intelligentie: modellen produceren nu in slechts seconden uitvoer die de capaciteiten van zelfs expert-mensen zouden uitdagen of overtreffen. Tegelijkertijd vertonen modellen nog steeds basale fouten in begrip die zelfs bij niet-expert-mensen niet verwacht zouden worden. Dit stelt ons voor een schijnbare paradox: hoe verzoenen we schijnbaar bovenmenselijke capaciteiten met het voortduren van fouten die weinig mensen zouden maken? In dit werk stellen we dat deze spanning een divergentie weerspiegelt in de configuratie van intelligentie in de huidige generatieve modellen ten opzichte van intelligentie bij mensen. Specifiek stellen en testen we de Generatieve AI Paradox-hypothese: generatieve modellen, die direct zijn getraind om expertachtige uitvoer te reproduceren, verwerven generatieve capaciteiten die niet afhankelijk zijn van — en daarom kunnen overtreffen — hun vermogen om diezelfde soorten uitvoer te begrijpen. Dit staat in contrast met mensen, voor wie basisbegrip bijna altijd voorafgaat aan het vermogen om expertniveau-uitvoer te genereren. We testen deze hypothese door middel van gecontroleerde experimenten die generatie versus begrip in generatieve modellen analyseren, zowel in taal- als beeldmodaliteiten. Onze resultaten tonen aan dat hoewel modellen mensen kunnen overtreffen in generatie, ze consistent tekortschieten in menselijke capaciteiten in metingen van begrip, evenals een zwakkere correlatie tussen generatie- en begripsprestaties, en meer kwetsbaarheid voor adversariële invoer. Onze bevindingen ondersteunen de hypothese dat de generatieve capaciteit van modellen mogelijk niet afhankelijk is van begripscapaciteit, en roepen op tot voorzichtigheid bij het interpreteren van kunstmatige intelligentie door analogie met menselijke intelligentie.

English

The recent wave of generative AI has sparked unprecedented global attention, with both excitement and concern over potentially superhuman levels of artificial intelligence: models now take only seconds to produce outputs that would challenge or exceed the capabilities even of expert humans. At the same time, models still show basic errors in understanding that would not be expected even in non-expert humans. This presents us with an apparent paradox: how do we reconcile seemingly superhuman capabilities with the persistence of errors that few humans would make? In this work, we posit that this tension reflects a divergence in the configuration of intelligence in today's generative models relative to intelligence in humans. Specifically, we propose and test the Generative AI Paradox hypothesis: generative models, having been trained directly to reproduce expert-like outputs, acquire generative capabilities that are not contingent upon -- and can therefore exceed -- their ability to understand those same types of outputs. This contrasts with humans, for whom basic understanding almost always precedes the ability to generate expert-level outputs. We test this hypothesis through controlled experiments analyzing generation vs. understanding in generative models, across both language and image modalities. Our results show that although models can outperform humans in generation, they consistently fall short of human capabilities in measures of understanding, as well as weaker correlation between generation and understanding performance, and more brittleness to adversarial inputs. Our findings support the hypothesis that models' generative capability may not be contingent upon understanding capability, and call for caution in interpreting artificial intelligence by analogy to human intelligence.