La Paradoja de la IA Generativa: "Lo que Puede Crear, Puede que No Lo Comprenda"

The Generative AI Paradox: "What It Can Create, It May Not Understand"

October 31, 2023

Autores: Peter West, Ximing Lu, Nouha Dziri, Faeze Brahman, Linjie Li, Jena D. Hwang, Liwei Jiang, Jillian Fisher, Abhilasha Ravichander, Khyathi Chandu, Benjamin Newman, Pang Wei Koh, Allyson Ettinger, Yejin Choi

cs.AI

Resumen

La reciente ola de inteligencia artificial generativa ha despertado una atención global sin precedentes, con tanto entusiasmo como preocupación por los niveles potencialmente sobrehumanos de inteligencia artificial: los modelos ahora tardan solo segundos en producir resultados que desafiarían o superarían las capacidades incluso de humanos expertos. Al mismo tiempo, los modelos aún cometen errores básicos de comprensión que no se esperarían ni en humanos no expertos. Esto nos presenta una aparente paradoja: ¿cómo reconciliamos capacidades aparentemente sobrehumanas con la persistencia de errores que pocos humanos cometerían? En este trabajo, postulamos que esta tensión refleja una divergencia en la configuración de la inteligencia en los modelos generativos actuales en comparación con la inteligencia humana. Específicamente, proponemos y probamos la hipótesis de la Paradoja de la IA Generativa: los modelos generativos, habiendo sido entrenados directamente para reproducir resultados similares a los de expertos, adquieren capacidades generativas que no dependen —y por lo tanto pueden superar— su capacidad para comprender esos mismos tipos de resultados. Esto contrasta con los humanos, para quienes la comprensión básica casi siempre precede a la capacidad de generar resultados de nivel experto. Probamos esta hipótesis mediante experimentos controlados que analizan la generación versus la comprensión en modelos generativos, tanto en modalidades de lenguaje como de imágenes. Nuestros resultados muestran que, aunque los modelos pueden superar a los humanos en generación, consistentemente se quedan cortos en las medidas de comprensión, así como una correlación más débil entre el rendimiento de generación y comprensión, y una mayor fragilidad frente a entradas adversarias. Nuestros hallazgos respaldan la hipótesis de que la capacidad generativa de los modelos puede no depender de su capacidad de comprensión, y llaman a la precaución al interpretar la inteligencia artificial por analogía con la inteligencia humana.

English

The recent wave of generative AI has sparked unprecedented global attention, with both excitement and concern over potentially superhuman levels of artificial intelligence: models now take only seconds to produce outputs that would challenge or exceed the capabilities even of expert humans. At the same time, models still show basic errors in understanding that would not be expected even in non-expert humans. This presents us with an apparent paradox: how do we reconcile seemingly superhuman capabilities with the persistence of errors that few humans would make? In this work, we posit that this tension reflects a divergence in the configuration of intelligence in today's generative models relative to intelligence in humans. Specifically, we propose and test the Generative AI Paradox hypothesis: generative models, having been trained directly to reproduce expert-like outputs, acquire generative capabilities that are not contingent upon -- and can therefore exceed -- their ability to understand those same types of outputs. This contrasts with humans, for whom basic understanding almost always precedes the ability to generate expert-level outputs. We test this hypothesis through controlled experiments analyzing generation vs. understanding in generative models, across both language and image modalities. Our results show that although models can outperform humans in generation, they consistently fall short of human capabilities in measures of understanding, as well as weaker correlation between generation and understanding performance, and more brittleness to adversarial inputs. Our findings support the hypothesis that models' generative capability may not be contingent upon understanding capability, and call for caution in interpreting artificial intelligence by analogy to human intelligence.