Humain ou non ? Une approche ludique du test de Turing

Human or Not? A Gamified Approach to the Turing Test

May 31, 2023

Auteurs: Daniel Jannai, Amos Meron, Barak Lenz, Yoav Levine, Yoav Shoham

cs.AI

Résumé

Nous présentons "Human or Not ?", un jeu en ligne inspiré du test de Turing, qui mesure la capacité des chatbots IA à imiter les humains dans un dialogue, ainsi que celle des humains à distinguer les bots des autres humains. Au cours d'un mois, le jeu a été joué par plus de 1,5 million d'utilisateurs qui ont participé à des sessions de chat anonymes de deux minutes avec soit un autre humain, soit un modèle de langage IA incité à se comporter comme un humain. La tâche des joueurs était de deviner correctement s'ils parlaient à une personne ou à une IA. Ce test de Turing à la plus grande échelle jamais réalisé à ce jour a révélé des faits intéressants. Par exemple, dans l'ensemble, les utilisateurs ont correctement deviné l'identité de leur partenaire dans seulement 68 % des parties. Dans le sous-ensemble des parties où les utilisateurs étaient confrontés à un bot IA, les taux de devinettes correctes étaient encore plus bas, à 60 % (c'est-à-dire à peine supérieurs au hasard). Ce livre blanc détaille le développement, le déploiement et les résultats de cette expérience unique. Bien que cette expérience appelle de nombreuses extensions et améliorations, ces découvertes commencent déjà à éclairer l'inévitable avenir proche où humains et IA coexisteront.

English

We present "Human or Not?", an online game inspired by the Turing test, that measures the capability of AI chatbots to mimic humans in dialog, and of humans to tell bots from other humans. Over the course of a month, the game was played by over 1.5 million users who engaged in anonymous two-minute chat sessions with either another human or an AI language model which was prompted to behave like humans. The task of the players was to correctly guess whether they spoke to a person or to an AI. This largest scale Turing-style test conducted to date revealed some interesting facts. For example, overall users guessed the identity of their partners correctly in only 68% of the games. In the subset of the games in which users faced an AI bot, users had even lower correct guess rates of 60% (that is, not much higher than chance). This white paper details the development, deployment, and results of this unique experiment. While this experiment calls for many extensions and refinements, these findings already begin to shed light on the inevitable near future which will commingle humans and AI.