Le paradoxe de l'IA générative : « Ce qu'elle peut créer, elle ne le comprend peut-être pas »

The Generative AI Paradox: "What It Can Create, It May Not Understand"

October 31, 2023

Auteurs: Peter West, Ximing Lu, Nouha Dziri, Faeze Brahman, Linjie Li, Jena D. Hwang, Liwei Jiang, Jillian Fisher, Abhilasha Ravichander, Khyathi Chandu, Benjamin Newman, Pang Wei Koh, Allyson Ettinger, Yejin Choi

cs.AI

Résumé

La récente vague d'IA générative a suscité une attention mondiale sans précédent, mêlant enthousiasme et inquiétude face à des niveaux potentiellement surhumains d'intelligence artificielle : les modèles ne mettent désormais que quelques secondes à produire des résultats qui rivaliseraient ou dépasseraient les capacités même d'experts humains. Parallèlement, ces modèles continuent de commettre des erreurs basiques de compréhension qu'on ne s'attendrait pas à voir chez des humains non experts. Cela nous confronte à un paradoxe apparent : comment concilier des capacités apparemment surhumaines avec la persistance d'erreurs que peu d'humains commettraient ? Dans ce travail, nous postulons que cette tension reflète une divergence dans la configuration de l'intelligence des modèles génératifs actuels par rapport à l'intelligence humaine. Plus précisément, nous proposons et testons l'hypothèse du Paradoxe de l'IA Générative : les modèles génératifs, ayant été entraînés directement à reproduire des sorties de type expert, acquièrent des capacités génératives qui ne dépendent pas — et peuvent donc dépasser — leur capacité à comprendre ces mêmes types de sorties. Cela contraste avec les humains, pour qui une compréhension de base précède presque toujours la capacité à produire des résultats de niveau expert. Nous testons cette hypothèse à travers des expériences contrôlées analysant la génération versus la compréhension dans les modèles génératifs, à la fois dans les domaines du langage et de l'image. Nos résultats montrent que bien que les modèles puissent surpasser les humains en génération, ils restent systématiquement en deçà des capacités humaines en termes de compréhension, avec une corrélation plus faible entre les performances de génération et de compréhension, et une plus grande vulnérabilité aux entrées adverses. Nos conclusions soutiennent l'hypothèse que la capacité générative des modèles pourrait ne pas dépendre de leur capacité de compréhension, et appellent à la prudence dans l'interprétation de l'intelligence artificielle par analogie avec l'intelligence humaine.

English

The recent wave of generative AI has sparked unprecedented global attention, with both excitement and concern over potentially superhuman levels of artificial intelligence: models now take only seconds to produce outputs that would challenge or exceed the capabilities even of expert humans. At the same time, models still show basic errors in understanding that would not be expected even in non-expert humans. This presents us with an apparent paradox: how do we reconcile seemingly superhuman capabilities with the persistence of errors that few humans would make? In this work, we posit that this tension reflects a divergence in the configuration of intelligence in today's generative models relative to intelligence in humans. Specifically, we propose and test the Generative AI Paradox hypothesis: generative models, having been trained directly to reproduce expert-like outputs, acquire generative capabilities that are not contingent upon -- and can therefore exceed -- their ability to understand those same types of outputs. This contrasts with humans, for whom basic understanding almost always precedes the ability to generate expert-level outputs. We test this hypothesis through controlled experiments analyzing generation vs. understanding in generative models, across both language and image modalities. Our results show that although models can outperform humans in generation, they consistently fall short of human capabilities in measures of understanding, as well as weaker correlation between generation and understanding performance, and more brittleness to adversarial inputs. Our findings support the hypothesis that models' generative capability may not be contingent upon understanding capability, and call for caution in interpreting artificial intelligence by analogy to human intelligence.