RecurrentGPT: Interaktive Erzeugung von (beliebig) langen Texten

RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text

May 22, 2023

Autoren: Wangchunshu Zhou, Yuchen Eleanor Jiang, Peng Cui, Tiannan Wang, Zhenxin Xiao, Yifan Hou, Ryan Cotterell, Mrinmaya Sachan

cs.AI

Zusammenfassung

Der feste Kontextumfang von Transformer macht GPT-Modelle unfähig, beliebig lange Texte zu generieren. In diesem Artikel stellen wir RecurrentGPT vor, ein sprachbasiertes Simulacrum des Rekurrenzmechanismus in RNNs. RecurrentGPT basiert auf einem großen Sprachmodell (LLM) wie ChatGPT und verwendet natürliche Sprache, um den Long Short-Term Memory-Mechanismus in einem LSTM zu simulieren. Bei jedem Zeitschritt generiert RecurrentGPT einen Textabschnitt und aktualisiert sein sprachbasiertes Langzeit-Kurzzeit-Gedächtnis, das auf der Festplatte und im Prompt gespeichert ist. Dieser Rekurrenzmechanismus ermöglicht es RecurrentGPT, Texte beliebiger Länge zu generieren, ohne dabei zu vergessen. Da menschliche Benutzer die natürlichen Sprachspeicher leicht beobachten und bearbeiten können, ist RecurrentGPT interpretierbar und ermöglicht die interaktive Generierung langer Texte. RecurrentGPT ist ein erster Schritt hin zu computergestützten Schreibsystemen der nächsten Generation, die über lokale Bearbeitungsvorschläge hinausgehen. Neben der Erzeugung von KI-generierten Inhalten (AIGC) zeigen wir auch die Möglichkeit auf, RecurrentGPT als interaktive Fiktion zu verwenden, die direkt mit den Konsumenten interagiert. Wir bezeichnen diese Nutzung von generativen Modellen als „KI als Inhalte“ (AIAC), von der wir glauben, dass sie die nächste Form der konventionellen AIGC darstellt. Wir demonstrieren weiterhin die Möglichkeit, RecurrentGPT zur Erstellung personalisierter interaktiver Fiktion zu verwenden, die direkt mit den Lesern interagiert, anstatt mit den Autoren. Im weiteren Sinne zeigt RecurrentGPT den Nutzen auf, Ideen aus populären Modellentwürfen der Kognitionswissenschaft und des Deep Learnings für das Prompting von LLMs zu übernehmen. Unser Code ist verfügbar unter https://github.com/aiwaves-cn/RecurrentGPT und eine Online-Demo ist verfügbar unter https://www.aiwaves.org/recurrentgpt.

English

The fixed-size context of Transformer makes GPT models incapable of generating arbitrarily long text. In this paper, we introduce RecurrentGPT, a language-based simulacrum of the recurrence mechanism in RNNs. RecurrentGPT is built upon a large language model (LLM) such as ChatGPT and uses natural language to simulate the Long Short-Term Memory mechanism in an LSTM. At each timestep, RecurrentGPT generates a paragraph of text and updates its language-based long-short term memory stored on the hard drive and the prompt, respectively. This recurrence mechanism enables RecurrentGPT to generate texts of arbitrary length without forgetting. Since human users can easily observe and edit the natural language memories, RecurrentGPT is interpretable and enables interactive generation of long text. RecurrentGPT is an initial step towards next-generation computer-assisted writing systems beyond local editing suggestions. In addition to producing AI-generated content (AIGC), we also demonstrate the possibility of using RecurrentGPT as an interactive fiction that directly interacts with consumers. We call this usage of generative models by ``AI As Contents'' (AIAC), which we believe is the next form of conventional AIGC. We further demonstrate the possibility of using RecurrentGPT to create personalized interactive fiction that directly interacts with readers instead of interacting with writers. More broadly, RecurrentGPT demonstrates the utility of borrowing ideas from popular model designs in cognitive science and deep learning for prompting LLMs. Our code is available at https://github.com/aiwaves-cn/RecurrentGPT and an online demo is available at https://www.aiwaves.org/recurrentgpt.