RecurrentGPT: (任意の)長文のインタラクティブ生成

RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text

May 22, 2023

著者: Wangchunshu Zhou, Yuchen Eleanor Jiang, Peng Cui, Tiannan Wang, Zhenxin Xiao, Yifan Hou, Ryan Cotterell, Mrinmaya Sachan

cs.AI

要旨

Transformerの固定サイズのコンテキストにより、GPTモデルは任意の長さのテキストを生成することができません。本論文では、RNNの再帰メカニズムを言語ベースで模倣したRecurrentGPTを紹介します。RecurrentGPTは、ChatGPTのような大規模言語モデル（LLM）を基盤として構築され、自然言語を使用してLSTMの長短期記憶メカニズムをシミュレートします。各タイムステップにおいて、RecurrentGPTはテキストの段落を生成し、ハードドライブとプロンプトにそれぞれ保存された言語ベースの長短期記憶を更新します。この再帰メカニズムにより、RecurrentGPTは忘れることなく任意の長さのテキストを生成することが可能です。人間のユーザーが自然言語の記憶を容易に観察および編集できるため、RecurrentGPTは解釈可能であり、長文のインタラクティブな生成を可能にします。RecurrentGPTは、ローカルな編集提案を超えた次世代のコンピュータ支援ライティングシステムに向けた最初の一歩です。AI生成コンテンツ（AIGC）を生成するだけでなく、RecurrentGPTを消費者と直接対話するインタラクティブフィクションとして使用する可能性も示します。この生成モデルの使用法を「AI As Contents」（AIAC）と呼び、これは従来のAIGCの次の形態であると考えています。さらに、RecurrentGPTを使用して、作家ではなく読者と直接対話するパーソナライズされたインタラクティブフィクションを作成する可能性も示します。より広く、RecurrentGPTは、認知科学や深層学習の一般的なモデル設計からアイデアを借りてLLMをプロンプトする有用性を示しています。私たちのコードはhttps://github.com/aiwaves-cn/RecurrentGPTで利用可能であり、オンラインデモはhttps://www.aiwaves.org/recurrentgptで利用可能です。

English

The fixed-size context of Transformer makes GPT models incapable of generating arbitrarily long text. In this paper, we introduce RecurrentGPT, a language-based simulacrum of the recurrence mechanism in RNNs. RecurrentGPT is built upon a large language model (LLM) such as ChatGPT and uses natural language to simulate the Long Short-Term Memory mechanism in an LSTM. At each timestep, RecurrentGPT generates a paragraph of text and updates its language-based long-short term memory stored on the hard drive and the prompt, respectively. This recurrence mechanism enables RecurrentGPT to generate texts of arbitrary length without forgetting. Since human users can easily observe and edit the natural language memories, RecurrentGPT is interpretable and enables interactive generation of long text. RecurrentGPT is an initial step towards next-generation computer-assisted writing systems beyond local editing suggestions. In addition to producing AI-generated content (AIGC), we also demonstrate the possibility of using RecurrentGPT as an interactive fiction that directly interacts with consumers. We call this usage of generative models by ``AI As Contents'' (AIAC), which we believe is the next form of conventional AIGC. We further demonstrate the possibility of using RecurrentGPT to create personalized interactive fiction that directly interacts with readers instead of interacting with writers. More broadly, RecurrentGPT demonstrates the utility of borrowing ideas from popular model designs in cognitive science and deep learning for prompting LLMs. Our code is available at https://github.com/aiwaves-cn/RecurrentGPT and an online demo is available at https://www.aiwaves.org/recurrentgpt.