포켓몬챗: 포켓몬 세계 지식에 대한 ChatGPT 감사
PokemonChat: Auditing ChatGPT for Pokémon Universe Knowledge
June 5, 2023
저자: Laura Cabello, Jiaang Li, Ilias Chalkidis
cs.AI
초록
최근 공개된 ChatGPT 모델은 제로샷 질문 응답 분야에서 전례 없는 능력을 보여주고 있습니다. 본 연구에서는 ChatGPT의 대화 이해 능력을 탐구하고, 향후 연구에서 채택할 수 있는 대화 프레임워크(프로토콜)를 소개합니다. 포켓몬 세계는 폐쇄된 세계 가정(closed world assumption)으로 인해 ChatGPT의 추론 능력을 검증하기에 이상적인 테스트 환경을 제공합니다. ChatGPT의 포켓몬 세계에 대한 배경 지식을 밝힌 후, 전투 시나리오에서 이러한 개념을 사용할 때의 추론 과정을 테스트합니다. 또한 새로운 지식을 습득하고 이를 추론 과정에 포함시키는 능력을 평가합니다. 우리의 궁극적인 목표는 ChatGPT가 일반화, 특징 결합, 그리고 인간 피드백을 통해 새로 도입된 지식을 습득하고 이를 추론하는 능력을 평가하는 것입니다. 연구 결과, ChatGPT는 포켓몬 세계에 대한 사전 지식을 가지고 있으며, 새로운 정보가 도입되더라도 전투 시나리오에서 이를 상당히 잘 추론할 수 있음을 발견했습니다. 이 모델은 협업적 피드백과 초기 정보 검색 단계가 있을 때 더 나은 성능을 보이지만, 가끔 환각(hallucination)을 일으키거나 적대적 공격에 취약한 것으로 나타났습니다.
English
The recently released ChatGPT model demonstrates unprecedented capabilities
in zero-shot question-answering. In this work, we probe ChatGPT for its
conversational understanding and introduce a conversational framework
(protocol) that can be adopted in future studies. The Pok\'emon universe serves
as an ideal testing ground for auditing ChatGPT's reasoning capabilities due to
its closed world assumption. After bringing ChatGPT's background knowledge (on
the Pok\'emon universe) to light, we test its reasoning process when using
these concepts in battle scenarios. We then evaluate its ability to acquire new
knowledge and include it in its reasoning process. Our ultimate goal is to
assess ChatGPT's ability to generalize, combine features, and to acquire and
reason over newly introduced knowledge from human feedback. We find that
ChatGPT has prior knowledge of the Pokemon universe, which can reason upon in
battle scenarios to a great extent, even when new information is introduced.
The model performs better with collaborative feedback and if there is an
initial phase of information retrieval, but also hallucinates occasionally and
is susceptible to adversarial attacks.