Umano o no? Un approccio ludico al Test di Turing

Human or Not? A Gamified Approach to the Turing Test

May 31, 2023

Autori: Daniel Jannai, Amos Meron, Barak Lenz, Yoav Levine, Yoav Shoham

cs.AI

Abstract

Presentiamo "Human or Not?", un gioco online ispirato al test di Turing, che misura la capacità dei chatbot di imitare gli esseri umani nel dialogo e degli esseri umani di distinguere i bot da altri esseri umani. Nel corso di un mese, il gioco è stato utilizzato da oltre 1,5 milioni di utenti che hanno partecipato a sessioni di chat anonime della durata di due minuti con un altro essere umano o con un modello di linguaggio AI programmato per comportarsi come un essere umano. Il compito dei giocatori era indovinare correttamente se stavano parlando con una persona o con un'IA. Questo test in stile Turing su scala più ampia mai condotto finora ha rivelato alcuni fatti interessanti. Ad esempio, nel complesso gli utenti hanno indovinato correttamente l'identità dei loro partner solo nel 68% delle partite. Nel sottoinsieme di partite in cui gli utenti si sono confrontati con un bot AI, i tassi di indovinamento corretti sono stati ancora più bassi, pari al 60% (cioè non molto superiori al caso). Questo white paper descrive in dettaglio lo sviluppo, l'implementazione e i risultati di questo esperimento unico. Sebbene questo esperimento richieda molte estensioni e perfezionamenti, questi risultati iniziano già a gettare luce sull'inevitabile futuro prossimo in cui esseri umani e IA si mescoleranno.

English

We present "Human or Not?", an online game inspired by the Turing test, that measures the capability of AI chatbots to mimic humans in dialog, and of humans to tell bots from other humans. Over the course of a month, the game was played by over 1.5 million users who engaged in anonymous two-minute chat sessions with either another human or an AI language model which was prompted to behave like humans. The task of the players was to correctly guess whether they spoke to a person or to an AI. This largest scale Turing-style test conducted to date revealed some interesting facts. For example, overall users guessed the identity of their partners correctly in only 68% of the games. In the subset of the games in which users faced an AI bot, users had even lower correct guess rates of 60% (that is, not much higher than chance). This white paper details the development, deployment, and results of this unique experiment. While this experiment calls for many extensions and refinements, these findings already begin to shed light on the inevitable near future which will commingle humans and AI.