Banco de Reflexão: sondando a inteligência da IA com reflexão

Reflection-Bench: probing AI intelligence with reflection

October 21, 2024

Autores: Lingyu Li, Yixu Wang, Haiquan Zhao, Shuqi Kong, Yan Teng, Chunbo Li, Yingchun Wang

cs.AI

Resumo

A capacidade de adaptar crenças ou comportamentos em resposta a resultados inesperados, reflexão, é fundamental para a interação de sistemas inteligentes com o mundo. De uma perspectiva de ciência cognitiva, isso serve como um princípio central de inteligência aplicável tanto a sistemas humanos quanto de IA. Para abordar o debate sobre a inteligência de grandes modelos de linguagem (LLMs), propomos o Reflection-Bench, um benchmark abrangente composto por 7 tarefas que abrangem funções cognitivas essenciais para a reflexão, incluindo percepção, memória, atualização de crenças, tomada de decisão, previsão, pensamento contrafactual e meta-reflexão. Avaliamos o desempenho de 13 LLMs proeminentes como OpenAI o1, GPT-4, Claude 3.5 Sonnet, etc. Os resultados indicam que os LLMs atuais ainda carecem de habilidade de reflexão satisfatória. Discutimos as causas subjacentes desses resultados e sugerimos possíveis direções para pesquisas futuras. Em conclusão, o Reflection-Bench oferece tanto ferramentas de avaliação quanto inspiração para o desenvolvimento de IA capazes de interagir de forma confiável com o ambiente. Nossos dados e código estão disponíveis em https://github.com/YabYum/ReflectionBench.

English

The ability to adapt beliefs or behaviors in response to unexpected outcomes, reflection, is fundamental to intelligent systems' interaction with the world. From a cognitive science perspective, this serves as a core principle of intelligence applicable to both human and AI systems. To address the debate on the intelligence of large language models (LLMs), we propose Reflection-Bench, a comprehensive benchmark comprising 7 tasks spanning core cognitive functions crucial for reflection, including perception, memory, belief updating, decision-making, prediction, counterfactual thinking, and meta-reflection. We evaluate the performances of 13 prominent LLMs such as OpenAI o1, GPT-4, Claude 3.5 Sonnet, etc. The results indicate that current LLMs still lack satisfactory reflection ability. We discuss the underlying causes of these results and suggest potential avenues for future research. In conclusion, Reflection-Bench offers both evaluation tools and inspiration for developing AI capable of reliably interacting with the environment. Our data and code are available at https://github.com/YabYum/ReflectionBench.