Humano ou Não? Uma Abordagem Gamificada para o Teste de Turing

Human or Not? A Gamified Approach to the Turing Test

May 31, 2023

Autores: Daniel Jannai, Amos Meron, Barak Lenz, Yoav Levine, Yoav Shoham

cs.AI

Resumo

Apresentamos "Human or Not?", um jogo online inspirado no teste de Turing, que mede a capacidade de chatbots de IA de imitar humanos em diálogos e a capacidade de humanos de distinguir bots de outros humanos. Ao longo de um mês, o jogo foi jogado por mais de 1,5 milhão de usuários que participaram de sessões de chat anônimas de dois minutos com outro humano ou com um modelo de linguagem de IA instruído a se comportar como humanos. A tarefa dos jogadores era adivinhar corretamente se estavam conversando com uma pessoa ou com uma IA. Este maior teste no estilo Turing já conduzido até hoje revelou alguns fatos interessantes. Por exemplo, no geral, os usuários adivinharam a identidade de seus parceiros corretamente em apenas 68% dos jogos. No subconjunto de jogos em que os usuários enfrentaram um bot de IA, as taxas de acerto foram ainda menores, de 60% (ou seja, pouco acima do acaso). Este white paper detalha o desenvolvimento, a implantação e os resultados deste experimento único. Embora este experimento exija muitas extensões e refinamentos, essas descobertas já começam a lançar luz sobre o inevitável futuro próximo em que humanos e IA estarão interligados.

English

We present "Human or Not?", an online game inspired by the Turing test, that measures the capability of AI chatbots to mimic humans in dialog, and of humans to tell bots from other humans. Over the course of a month, the game was played by over 1.5 million users who engaged in anonymous two-minute chat sessions with either another human or an AI language model which was prompted to behave like humans. The task of the players was to correctly guess whether they spoke to a person or to an AI. This largest scale Turing-style test conducted to date revealed some interesting facts. For example, overall users guessed the identity of their partners correctly in only 68% of the games. In the subset of the games in which users faced an AI bot, users had even lower correct guess rates of 60% (that is, not much higher than chance). This white paper details the development, deployment, and results of this unique experiment. While this experiment calls for many extensions and refinements, these findings already begin to shed light on the inevitable near future which will commingle humans and AI.