Mensch oder nicht? Ein spielerischer Ansatz zum Turing-Test

Human or Not? A Gamified Approach to the Turing Test

May 31, 2023

Autoren: Daniel Jannai, Amos Meron, Barak Lenz, Yoav Levine, Yoav Shoham

cs.AI

Zusammenfassung

Wir präsentieren „Human or Not?“, ein Online-Spiel, das vom Turing-Test inspiriert ist und die Fähigkeit von KI-Chatbots misst, menschliche Dialoge nachzuahmen, sowie die Fähigkeit von Menschen, Bots von anderen Menschen zu unterscheiden. Im Laufe eines Monats wurde das Spiel von über 1,5 Millionen Nutzern gespielt, die anonyme Zwei-Minuten-Chatsitzungen entweder mit einem anderen Menschen oder mit einem KI-Sprachmodell führten, das darauf programmiert war, sich wie ein Mensch zu verhalten. Die Aufgabe der Spieler bestand darin, korrekt zu erraten, ob sie mit einer Person oder einer KI sprachen. Dieser bisher größte Turing-Test im Stil eines Experiments brachte einige interessante Erkenntnisse ans Licht. Beispielsweise errieten die Nutzer die Identität ihrer Gesprächspartner insgesamt nur in 68 % der Fälle richtig. In der Teilmenge der Spiele, in denen die Nutzer auf einen KI-Bot trafen, lag die Rate der korrekten Vermutungen sogar bei nur 60 % (also kaum höher als der Zufallswert). Dieses Whitepaper beschreibt detailliert die Entwicklung, Durchführung und Ergebnisse dieses einzigartigen Experiments. Während dieses Experiment viele Erweiterungen und Verfeinerungen erfordert, werfen diese Erkenntnisse bereits ein Licht auf die unvermeidliche nahe Zukunft, in der Menschen und KI miteinander verschmelzen werden.

English

We present "Human or Not?", an online game inspired by the Turing test, that measures the capability of AI chatbots to mimic humans in dialog, and of humans to tell bots from other humans. Over the course of a month, the game was played by over 1.5 million users who engaged in anonymous two-minute chat sessions with either another human or an AI language model which was prompted to behave like humans. The task of the players was to correctly guess whether they spoke to a person or to an AI. This largest scale Turing-style test conducted to date revealed some interesting facts. For example, overall users guessed the identity of their partners correctly in only 68% of the games. In the subset of the games in which users faced an AI bot, users had even lower correct guess rates of 60% (that is, not much higher than chance). This white paper details the development, deployment, and results of this unique experiment. While this experiment calls for many extensions and refinements, these findings already begin to shed light on the inevitable near future which will commingle humans and AI.