O Paradoxo da IA Generativa: "O Que Ela Pode Criar, Talvez Não Compreenda"

The Generative AI Paradox: "What It Can Create, It May Not Understand"

October 31, 2023

Autores: Peter West, Ximing Lu, Nouha Dziri, Faeze Brahman, Linjie Li, Jena D. Hwang, Liwei Jiang, Jillian Fisher, Abhilasha Ravichander, Khyathi Chandu, Benjamin Newman, Pang Wei Koh, Allyson Ettinger, Yejin Choi

cs.AI

Resumo

A recente onda de IA generativa despertou uma atenção global sem precedentes, com tanto entusiasmo quanto preocupação em relação a níveis potencialmente sobre-humanos de inteligência artificial: os modelos agora levam apenas segundos para produzir resultados que desafiam ou superam as capacidades até mesmo de humanos especialistas. Ao mesmo tempo, os modelos ainda cometem erros básicos de compreensão que não seriam esperados nem em humanos não especialistas. Isso nos apresenta um aparente paradoxo: como reconciliar capacidades aparentemente sobre-humanas com a persistência de erros que poucos humanos cometeriam? Neste trabalho, propomos que essa tensão reflete uma divergência na configuração da inteligência nos modelos generativos atuais em relação à inteligência humana. Especificamente, propomos e testamos a hipótese do Paradoxo da IA Generativa: modelos generativos, tendo sido treinados diretamente para reproduzir resultados semelhantes aos de especialistas, adquirem capacidades generativas que não dependem — e, portanto, podem superar — sua capacidade de compreender esses mesmos tipos de resultados. Isso contrasta com os humanos, para os quais a compreensão básica quase sempre precede a capacidade de gerar resultados de nível especialista. Testamos essa hipótese por meio de experimentos controlados que analisam geração versus compreensão em modelos generativos, tanto em modalidades de linguagem quanto de imagem. Nossos resultados mostram que, embora os modelos possam superar os humanos em geração, eles consistentemente ficam aquém das capacidades humanas em medidas de compreensão, além de apresentarem uma correlação mais fraca entre desempenho de geração e compreensão, e maior fragilidade a entradas adversárias. Nossas descobertas apoiam a hipótese de que a capacidade generativa dos modelos pode não depender da capacidade de compreensão, e alertam para a necessidade de cautela ao interpretar a inteligência artificial por analogia à inteligência humana.

English

The recent wave of generative AI has sparked unprecedented global attention, with both excitement and concern over potentially superhuman levels of artificial intelligence: models now take only seconds to produce outputs that would challenge or exceed the capabilities even of expert humans. At the same time, models still show basic errors in understanding that would not be expected even in non-expert humans. This presents us with an apparent paradox: how do we reconcile seemingly superhuman capabilities with the persistence of errors that few humans would make? In this work, we posit that this tension reflects a divergence in the configuration of intelligence in today's generative models relative to intelligence in humans. Specifically, we propose and test the Generative AI Paradox hypothesis: generative models, having been trained directly to reproduce expert-like outputs, acquire generative capabilities that are not contingent upon -- and can therefore exceed -- their ability to understand those same types of outputs. This contrasts with humans, for whom basic understanding almost always precedes the ability to generate expert-level outputs. We test this hypothesis through controlled experiments analyzing generation vs. understanding in generative models, across both language and image modalities. Our results show that although models can outperform humans in generation, they consistently fall short of human capabilities in measures of understanding, as well as weaker correlation between generation and understanding performance, and more brittleness to adversarial inputs. Our findings support the hypothesis that models' generative capability may not be contingent upon understanding capability, and call for caution in interpreting artificial intelligence by analogy to human intelligence.