Das Generative KI-Paradox: „Was sie erschaffen kann, versteht sie möglicherweise nicht.“

The Generative AI Paradox: "What It Can Create, It May Not Understand"

October 31, 2023

Autoren: Peter West, Ximing Lu, Nouha Dziri, Faeze Brahman, Linjie Li, Jena D. Hwang, Liwei Jiang, Jillian Fisher, Abhilasha Ravichander, Khyathi Chandu, Benjamin Newman, Pang Wei Koh, Allyson Ettinger, Yejin Choi

cs.AI

Zusammenfassung

Die jüngste Welle generativer KI hat eine beispiellose globale Aufmerksamkeit erregt, sowohl Begeisterung als auch Besorgnis über potenziell übermenschliche Fähigkeiten künstlicher Intelligenz: Modelle benötigen heute nur Sekunden, um Ergebnisse zu erzeugen, die selbst die Fähigkeiten von Experten herausfordern oder übertreffen würden. Gleichzeitig zeigen Modelle immer noch grundlegende Fehler im Verständnis, die selbst bei Laien nicht zu erwarten wären. Dies stellt uns vor ein scheinbares Paradox: Wie lassen sich scheinbar übermenschliche Fähigkeiten mit dem Fortbestehen von Fehlern vereinbaren, die nur wenige Menschen machen würden? In dieser Arbeit postulieren wir, dass diese Spannung eine Divergenz in der Konfiguration von Intelligenz in heutigen generativen Modellen im Vergleich zur menschlichen Intelligenz widerspiegelt. Konkret schlagen wir die Hypothese des Generativen-KI-Paradoxons vor und testen sie: Generative Modelle, die direkt darauf trainiert wurden, expertenähnliche Ergebnisse zu reproduzieren, erwerben generative Fähigkeiten, die nicht von ihrem Verständnis dieser Ergebnisse abhängig sind – und diese daher übertreffen können. Dies steht im Gegensatz zu Menschen, bei denen ein grundlegendes Verständnis fast immer der Fähigkeit vorausgeht, Expertenniveau zu erreichen. Wir testen diese Hypothese durch kontrollierte Experimente, die Erzeugung und Verständnis in generativen Modellen sowohl in sprachlichen als auch bildlichen Modalitäten analysieren. Unsere Ergebnisse zeigen, dass Modelle zwar in der Erzeugung Menschen übertreffen können, sie jedoch durchweg hinter menschlichen Fähigkeiten in Bezug auf Verständnis zurückbleiben, sowie eine schwächere Korrelation zwischen Erzeugungs- und Verständnisleistung und eine größere Anfälligkeit für adversariale Eingaben aufweisen. Unsere Ergebnisse stützen die Hypothese, dass die generative Fähigkeit von Modellen möglicherweise nicht von ihrer Verständnisfähigkeit abhängig ist, und mahnen zur Vorsicht bei der Interpretation künstlicher Intelligenz durch Analogien zur menschlichen Intelligenz.

English

The recent wave of generative AI has sparked unprecedented global attention, with both excitement and concern over potentially superhuman levels of artificial intelligence: models now take only seconds to produce outputs that would challenge or exceed the capabilities even of expert humans. At the same time, models still show basic errors in understanding that would not be expected even in non-expert humans. This presents us with an apparent paradox: how do we reconcile seemingly superhuman capabilities with the persistence of errors that few humans would make? In this work, we posit that this tension reflects a divergence in the configuration of intelligence in today's generative models relative to intelligence in humans. Specifically, we propose and test the Generative AI Paradox hypothesis: generative models, having been trained directly to reproduce expert-like outputs, acquire generative capabilities that are not contingent upon -- and can therefore exceed -- their ability to understand those same types of outputs. This contrasts with humans, for whom basic understanding almost always precedes the ability to generate expert-level outputs. We test this hypothesis through controlled experiments analyzing generation vs. understanding in generative models, across both language and image modalities. Our results show that although models can outperform humans in generation, they consistently fall short of human capabilities in measures of understanding, as well as weaker correlation between generation and understanding performance, and more brittleness to adversarial inputs. Our findings support the hypothesis that models' generative capability may not be contingent upon understanding capability, and call for caution in interpreting artificial intelligence by analogy to human intelligence.