Парадокс генеративного ИИ: "Что он может создать, того он может не понимать"

The Generative AI Paradox: "What It Can Create, It May Not Understand"

October 31, 2023

Авторы: Peter West, Ximing Lu, Nouha Dziri, Faeze Brahman, Linjie Li, Jena D. Hwang, Liwei Jiang, Jillian Fisher, Abhilasha Ravichander, Khyathi Chandu, Benjamin Newman, Pang Wei Koh, Allyson Ettinger, Yejin Choi

cs.AI

Аннотация

Недавний всплеск интереса к генеративному искусственному интеллекту вызвал беспрецедентное внимание во всем мире, сопровождаясь как восторгом, так и опасениями по поводу потенциально сверхчеловеческих уровней искусственного интеллекта: модели теперь способны за считанные секунды создавать результаты, которые бросают вызов или превосходят возможности даже экспертов-людей. В то же время модели продолжают допускать базовые ошибки в понимании, которые не ожидались бы даже у неспециалистов. Это создает кажущийся парадокс: как согласовать кажущиеся сверхчеловеческими способности с устойчивостью ошибок, которые редко допускают люди? В данной работе мы предполагаем, что это противоречие отражает расхождение в конфигурации интеллекта современных генеративных моделей по сравнению с человеческим интеллектом. В частности, мы выдвигаем и проверяем гипотезу "Парадокса генеративного ИИ": генеративные модели, обученные напрямую воспроизводить экспертные результаты, приобретают генеративные способности, которые не зависят — и поэтому могут превосходить — их способность понимать те же типы результатов. Это контрастирует с людьми, для которых базовое понимание почти всегда предшествует способности создавать экспертные результаты. Мы проверяем эту гипотезу с помощью контролируемых экспериментов, анализируя генерацию и понимание в генеративных моделях, охватывая как языковые, так и визуальные модальности. Наши результаты показывают, что хотя модели могут превосходить людей в генерации, они consistently уступают человеческим способностям в измерениях понимания, а также демонстрируют более слабую корреляцию между производительностью генерации и понимания и большую уязвимость к враждебным входам. Наши выводы поддерживают гипотезу о том, что генеративная способность моделей может не зависеть от способности к пониманию, и призывают к осторожности в интерпретации искусственного интеллекта по аналогии с человеческим интеллектом.

English

The recent wave of generative AI has sparked unprecedented global attention, with both excitement and concern over potentially superhuman levels of artificial intelligence: models now take only seconds to produce outputs that would challenge or exceed the capabilities even of expert humans. At the same time, models still show basic errors in understanding that would not be expected even in non-expert humans. This presents us with an apparent paradox: how do we reconcile seemingly superhuman capabilities with the persistence of errors that few humans would make? In this work, we posit that this tension reflects a divergence in the configuration of intelligence in today's generative models relative to intelligence in humans. Specifically, we propose and test the Generative AI Paradox hypothesis: generative models, having been trained directly to reproduce expert-like outputs, acquire generative capabilities that are not contingent upon -- and can therefore exceed -- their ability to understand those same types of outputs. This contrasts with humans, for whom basic understanding almost always precedes the ability to generate expert-level outputs. We test this hypothesis through controlled experiments analyzing generation vs. understanding in generative models, across both language and image modalities. Our results show that although models can outperform humans in generation, they consistently fall short of human capabilities in measures of understanding, as well as weaker correlation between generation and understanding performance, and more brittleness to adversarial inputs. Our findings support the hypothesis that models' generative capability may not be contingent upon understanding capability, and call for caution in interpreting artificial intelligence by analogy to human intelligence.