RecurrentGPT: Interactieve Generatie van (Willekeurig) Lange Tekst

RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text

May 22, 2023

Auteurs: Wangchunshu Zhou, Yuchen Eleanor Jiang, Peng Cui, Tiannan Wang, Zhenxin Xiao, Yifan Hou, Ryan Cotterell, Mrinmaya Sachan

cs.AI

Samenvatting

De vaste contextgrootte van de Transformer maakt GPT-modellen niet in staat om willekeurig lange tekst te genereren. In dit artikel introduceren we RecurrentGPT, een taalgebaseerde simulatie van het terugkeringsmechanisme in RNN's. RecurrentGPT is gebouwd op een groot taalmodel (LLM) zoals ChatGPT en gebruikt natuurlijke taal om het Long Short-Term Memory-mechanisme in een LSTM te simuleren. Bij elke tijdstap genereert RecurrentGPT een alinea tekst en werkt het zijn taalgebaseerde lange-korte termijngeheugen bij, dat respectievelijk op de harde schijf en in de prompt is opgeslagen. Dit terugkeringsmechanisme stelt RecurrentGPT in staat om teksten van willekeurige lengte te genereren zonder te vergeten. Omdat menselijke gebruikers de natuurlijke taalherinneringen eenvoudig kunnen observeren en bewerken, is RecurrentGPT interpreteerbaar en maakt het interactieve generatie van lange tekst mogelijk. RecurrentGPT is een eerste stap naar de volgende generatie computerondersteunde schrijfsystemen die verder gaan dan lokale bewerkingssuggesties. Naast het produceren van AI-gegenereerde inhoud (AIGC), demonstreren we ook de mogelijkheid om RecurrentGPT te gebruiken als interactieve fictie die rechtstreeks met consumenten interageert. We noemen dit gebruik van generatieve modellen ``AI As Contents'' (AIAC), wat volgens ons de volgende vorm van conventionele AIGC is. We demonstreren verder de mogelijkheid om RecurrentGPT te gebruiken om gepersonaliseerde interactieve fictie te creëren die rechtstreeks met lezers interageert in plaats van met schrijvers. In bredere zin toont RecurrentGPT het nut aan van het lenen van ideeën uit populaire modelontwerpen in de cognitieve wetenschap en deep learning voor het aansturen van LLM's. Onze code is beschikbaar op https://github.com/aiwaves-cn/RecurrentGPT en een online demo is beschikbaar op https://www.aiwaves.org/recurrentgpt.

English

The fixed-size context of Transformer makes GPT models incapable of generating arbitrarily long text. In this paper, we introduce RecurrentGPT, a language-based simulacrum of the recurrence mechanism in RNNs. RecurrentGPT is built upon a large language model (LLM) such as ChatGPT and uses natural language to simulate the Long Short-Term Memory mechanism in an LSTM. At each timestep, RecurrentGPT generates a paragraph of text and updates its language-based long-short term memory stored on the hard drive and the prompt, respectively. This recurrence mechanism enables RecurrentGPT to generate texts of arbitrary length without forgetting. Since human users can easily observe and edit the natural language memories, RecurrentGPT is interpretable and enables interactive generation of long text. RecurrentGPT is an initial step towards next-generation computer-assisted writing systems beyond local editing suggestions. In addition to producing AI-generated content (AIGC), we also demonstrate the possibility of using RecurrentGPT as an interactive fiction that directly interacts with consumers. We call this usage of generative models by ``AI As Contents'' (AIAC), which we believe is the next form of conventional AIGC. We further demonstrate the possibility of using RecurrentGPT to create personalized interactive fiction that directly interacts with readers instead of interacting with writers. More broadly, RecurrentGPT demonstrates the utility of borrowing ideas from popular model designs in cognitive science and deep learning for prompting LLMs. Our code is available at https://github.com/aiwaves-cn/RecurrentGPT and an online demo is available at https://www.aiwaves.org/recurrentgpt.