PokemonChat : Audit des connaissances de ChatGPT sur l'univers Pokémon
PokemonChat: Auditing ChatGPT for Pokémon Universe Knowledge
June 5, 2023
Auteurs: Laura Cabello, Jiaang Li, Ilias Chalkidis
cs.AI
Résumé
Le modèle ChatGPT récemment publié démontre des capacités sans précédent dans le domaine des réponses à des questions en mode zero-shot. Dans ce travail, nous explorons la compréhension conversationnelle de ChatGPT et introduisons un cadre (protocole) conversationnel qui pourra être adopté dans de futures études. L'univers Pokémon sert de terrain d'essai idéal pour auditer les capacités de raisonnement de ChatGPT en raison de son hypothèse de monde clos. Après avoir mis en lumière les connaissances de base de ChatGPT (sur l'univers Pokémon), nous testons son processus de raisonnement lorsqu'il utilise ces concepts dans des scénarios de combat. Nous évaluons ensuite sa capacité à acquérir de nouvelles connaissances et à les intégrer dans son processus de raisonnement. Notre objectif ultime est d'évaluer la capacité de ChatGPT à généraliser, à combiner des caractéristiques, et à acquérir et raisonner sur des connaissances nouvellement introduites à partir de retours humains. Nous constatons que ChatGPT possède des connaissances préalables sur l'univers Pokémon, sur lesquelles il peut raisonner dans des scénarios de combat dans une large mesure, même lorsque de nouvelles informations sont introduites. Le modèle performe mieux avec des retours collaboratifs et s'il y a une phase initiale de récupération d'informations, mais il hallucine également occasionnellement et est sensible aux attaques adverses.
English
The recently released ChatGPT model demonstrates unprecedented capabilities
in zero-shot question-answering. In this work, we probe ChatGPT for its
conversational understanding and introduce a conversational framework
(protocol) that can be adopted in future studies. The Pok\'emon universe serves
as an ideal testing ground for auditing ChatGPT's reasoning capabilities due to
its closed world assumption. After bringing ChatGPT's background knowledge (on
the Pok\'emon universe) to light, we test its reasoning process when using
these concepts in battle scenarios. We then evaluate its ability to acquire new
knowledge and include it in its reasoning process. Our ultimate goal is to
assess ChatGPT's ability to generalize, combine features, and to acquire and
reason over newly introduced knowledge from human feedback. We find that
ChatGPT has prior knowledge of the Pokemon universe, which can reason upon in
battle scenarios to a great extent, even when new information is introduced.
The model performs better with collaborative feedback and if there is an
initial phase of information retrieval, but also hallucinates occasionally and
is susceptible to adversarial attacks.