Mens of Machine? Een Gegamificeerde Benadering van de Turingtest

Human or Not? A Gamified Approach to the Turing Test

May 31, 2023

Auteurs: Daniel Jannai, Amos Meron, Barak Lenz, Yoav Levine, Yoav Shoham

cs.AI

Samenvatting

We presenteren "Human or Not?", een online spel geïnspireerd op de Turingtest, dat het vermogen meet van AI-chatbots om mensen na te bootsen in dialogen, en van mensen om bots te onderscheiden van andere mensen. Gedurende een maand werd het spel gespeeld door meer dan 1,5 miljoen gebruikers die anonieme tweeminutengesprekken voerden met een andere mens of een AI-taalmodel dat was geprompt om zich als een mens te gedragen. De taak van de spelers was om correct te raden of ze met een persoon of een AI spraken. Deze grootste Turingtest-achtige experiment tot nu toe onthulde enkele interessante feiten. Zo raden gebruikers over het algemeen de identiteit van hun gesprekspartner in slechts 68% van de spellen correct. In de subset van spellen waarin gebruikers tegen een AI-bot speelden, hadden gebruikers een nog lager correct raadpercentage van 60% (dat wil zeggen, niet veel hoger dan toeval). Dit witboek beschrijft de ontwikkeling, implementatie en resultaten van dit unieke experiment. Hoewel dit experiment om veel uitbreidingen en verfijningen vraagt, beginnen deze bevindingen al licht te werpen op de onvermijdelijke nabije toekomst waarin mensen en AI zullen vermengen.

English

We present "Human or Not?", an online game inspired by the Turing test, that measures the capability of AI chatbots to mimic humans in dialog, and of humans to tell bots from other humans. Over the course of a month, the game was played by over 1.5 million users who engaged in anonymous two-minute chat sessions with either another human or an AI language model which was prompted to behave like humans. The task of the players was to correctly guess whether they spoke to a person or to an AI. This largest scale Turing-style test conducted to date revealed some interesting facts. For example, overall users guessed the identity of their partners correctly in only 68% of the games. In the subset of the games in which users faced an AI bot, users had even lower correct guess rates of 60% (that is, not much higher than chance). This white paper details the development, deployment, and results of this unique experiment. While this experiment calls for many extensions and refinements, these findings already begin to shed light on the inevitable near future which will commingle humans and AI.