PokemonChat: Verifica delle Conoscenze di ChatGPT sull'Universo Pokémon
PokemonChat: Auditing ChatGPT for Pokémon Universe Knowledge
June 5, 2023
Autori: Laura Cabello, Jiaang Li, Ilias Chalkidis
cs.AI
Abstract
Il modello ChatGPT, rilasciato di recente, dimostra capacità senza precedenti nel rispondere a domande in modalità zero-shot. In questo lavoro, esploriamo la comprensione conversazionale di ChatGPT e introduciamo un framework (protocollo) conversazionale che può essere adottato in studi futuri. L'universo Pokémon si rivela un terreno di prova ideale per valutare le capacità di ragionamento di ChatGPT grazie alla sua assunzione di mondo chiuso. Dopo aver portato alla luce le conoscenze pregresse di ChatGPT sull'universo Pokémon, testiamo il suo processo di ragionamento quando utilizza questi concetti in scenari di battaglia. Successivamente, valutiamo la sua capacità di acquisire nuove conoscenze e di includerle nel suo processo di ragionamento. Il nostro obiettivo finale è valutare la capacità di ChatGPT di generalizzare, combinare caratteristiche e acquisire e ragionare su nuove conoscenze introdotte attraverso feedback umano. Scopriamo che ChatGPT possiede conoscenze pregresse sull'universo Pokémon, su cui può ragionare in modo significativo negli scenari di battaglia, anche quando vengono introdotte nuove informazioni. Il modello performa meglio con feedback collaborativi e se c'è una fase iniziale di recupero delle informazioni, ma occasionalmente produce allucinazioni ed è suscettibile ad attacchi avversari.
English
The recently released ChatGPT model demonstrates unprecedented capabilities
in zero-shot question-answering. In this work, we probe ChatGPT for its
conversational understanding and introduce a conversational framework
(protocol) that can be adopted in future studies. The Pok\'emon universe serves
as an ideal testing ground for auditing ChatGPT's reasoning capabilities due to
its closed world assumption. After bringing ChatGPT's background knowledge (on
the Pok\'emon universe) to light, we test its reasoning process when using
these concepts in battle scenarios. We then evaluate its ability to acquire new
knowledge and include it in its reasoning process. Our ultimate goal is to
assess ChatGPT's ability to generalize, combine features, and to acquire and
reason over newly introduced knowledge from human feedback. We find that
ChatGPT has prior knowledge of the Pokemon universe, which can reason upon in
battle scenarios to a great extent, even when new information is introduced.
The model performs better with collaborative feedback and if there is an
initial phase of information retrieval, but also hallucinates occasionally and
is susceptible to adversarial attacks.