PokemonChat: ポケモン世界の知識に関するChatGPTの監査
PokemonChat: Auditing ChatGPT for Pokémon Universe Knowledge
June 5, 2023
著者: Laura Cabello, Jiaang Li, Ilias Chalkidis
cs.AI
要旨
最近リリースされたChatGPTモデルは、ゼロショット質問応答において前例のない能力を発揮しています。本研究では、ChatGPTの会話理解能力を探り、今後の研究で採用可能な会話フレームワーク（プロトコル）を導入します。ポケモン世界は、その閉じた世界仮定のため、ChatGPTの推論能力を監査する理想的なテスト環境として機能します。ChatGPTの（ポケモン世界に関する）背景知識を明らかにした後、バトルシナリオでこれらの概念を使用する際の推論プロセスをテストします。次に、新しい知識を獲得し、それを推論プロセスに組み込む能力を評価します。私たちの最終的な目標は、ChatGPTが一般化し、特徴を組み合わせ、人間のフィードバックから新たに導入された知識を獲得し、それについて推論する能力を評価することです。ChatGPTはポケモン世界に関する事前知識を持っており、新しい情報が導入された場合でも、バトルシナリオにおいてかなりの程度まで推論できることがわかりました。このモデルは、協力的なフィードバックと情報検索の初期段階がある場合にパフォーマンスが向上しますが、時々幻覚を起こし、敵対的攻撃に対して脆弱でもあります。
English
The recently released ChatGPT model demonstrates unprecedented capabilities
in zero-shot question-answering. In this work, we probe ChatGPT for its
conversational understanding and introduce a conversational framework
(protocol) that can be adopted in future studies. The Pok\'emon universe serves
as an ideal testing ground for auditing ChatGPT's reasoning capabilities due to
its closed world assumption. After bringing ChatGPT's background knowledge (on
the Pok\'emon universe) to light, we test its reasoning process when using
these concepts in battle scenarios. We then evaluate its ability to acquire new
knowledge and include it in its reasoning process. Our ultimate goal is to
assess ChatGPT's ability to generalize, combine features, and to acquire and
reason over newly introduced knowledge from human feedback. We find that
ChatGPT has prior knowledge of the Pokemon universe, which can reason upon in
battle scenarios to a great extent, even when new information is introduced.
The model performs better with collaborative feedback and if there is an
initial phase of information retrieval, but also hallucinates occasionally and
is susceptible to adversarial attacks.