PokemonChat: Überprüfung von ChatGPT auf Wissen über das Pokémon-Universum
PokemonChat: Auditing ChatGPT for Pokémon Universe Knowledge
June 5, 2023
Autoren: Laura Cabello, Jiaang Li, Ilias Chalkidis
cs.AI
Zusammenfassung
Das kürzlich veröffentlichte ChatGPT-Modell zeigt beispiellose Fähigkeiten im Zero-Shot-Frage-Antworten. In dieser Arbeit untersuchen wir ChatGPT auf sein konversationelles Verständnis und führen ein konversationelles Rahmenwerk (Protokoll) ein, das in zukünftigen Studien übernommen werden kann. Das Pokémon-Universum dient aufgrund seiner geschlossenen Weltannahme als ideales Testfeld, um die Fähigkeiten von ChatGPT zur logischen Schlussfolgerung zu überprüfen. Nachdem wir das Hintergrundwissen von ChatGPT (über das Pokémon-Universum) beleuchtet haben, testen wir seinen Denkprozess, wenn es diese Konzepte in Kampfszenarien anwendet. Anschließend bewerten wir seine Fähigkeit, neues Wissen zu erwerben und in seinen Denkprozess einzubeziehen. Unser ultimatives Ziel ist es, die Fähigkeit von ChatGPT zu bewerten, zu generalisieren, Merkmale zu kombinieren und neu eingeführtes Wissen aus menschlichem Feedback zu erwerben und darüber zu schlussfolgern. Wir stellen fest, dass ChatGPT über Vorwissen über das Pokémon-Universum verfügt, auf das es in Kampfszenarien weitgehend zurückgreifen kann, selbst wenn neue Informationen eingeführt werden. Das Modell schneidet besser ab, wenn es kollaboratives Feedback erhält und wenn eine anfängliche Phase der Informationsbeschaffung stattfindet, halluziniert jedoch gelegentlich und ist anfällig für adversariale Angriffe.
English
The recently released ChatGPT model demonstrates unprecedented capabilities
in zero-shot question-answering. In this work, we probe ChatGPT for its
conversational understanding and introduce a conversational framework
(protocol) that can be adopted in future studies. The Pok\'emon universe serves
as an ideal testing ground for auditing ChatGPT's reasoning capabilities due to
its closed world assumption. After bringing ChatGPT's background knowledge (on
the Pok\'emon universe) to light, we test its reasoning process when using
these concepts in battle scenarios. We then evaluate its ability to acquire new
knowledge and include it in its reasoning process. Our ultimate goal is to
assess ChatGPT's ability to generalize, combine features, and to acquire and
reason over newly introduced knowledge from human feedback. We find that
ChatGPT has prior knowledge of the Pokemon universe, which can reason upon in
battle scenarios to a great extent, even when new information is introduced.
The model performs better with collaborative feedback and if there is an
initial phase of information retrieval, but also hallucinates occasionally and
is susceptible to adversarial attacks.