RecurrentGPT: Generazione Interattiva di Testi (Arbitrariamente) Lunghi

RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text

May 22, 2023

Autori: Wangchunshu Zhou, Yuchen Eleanor Jiang, Peng Cui, Tiannan Wang, Zhenxin Xiao, Yifan Hou, Ryan Cotterell, Mrinmaya Sachan

cs.AI

Abstract

Il contesto a dimensione fissa dei Transformer rende i modelli GPT incapaci di generare testi di lunghezza arbitraria. In questo articolo, introduciamo RecurrentGPT, un simulacro basato sul linguaggio del meccanismo di ricorrenza presente nelle RNN. RecurrentGPT è costruito su un modello linguistico di grandi dimensioni (LLM) come ChatGPT e utilizza il linguaggio naturale per simulare il meccanismo di memoria a lungo e breve termine (LSTM) in un LSTM. Ad ogni passo temporale, RecurrentGPT genera un paragrafo di testo e aggiorna la sua memoria a lungo e breve termine basata sul linguaggio, memorizzata rispettivamente sull'hard drive e nel prompt. Questo meccanismo di ricorrenza consente a RecurrentGPT di generare testi di lunghezza arbitraria senza dimenticare. Poiché gli utenti umani possono facilmente osservare e modificare le memorie in linguaggio naturale, RecurrentGPT è interpretabile e consente la generazione interattiva di testi lunghi. RecurrentGPT rappresenta un primo passo verso i sistemi di scrittura assistita da computer di prossima generazione, che vanno oltre i suggerimenti di editing locali. Oltre a produrre contenuti generati dall'intelligenza artificiale (AIGC), dimostriamo anche la possibilità di utilizzare RecurrentGPT come una narrativa interattiva che interagisce direttamente con i consumatori. Chiamiamo questo utilizzo dei modelli generativi "AI As Contents" (AIAC), che riteniamo essere la prossima forma di AIGC convenzionale. Dimostriamo inoltre la possibilità di utilizzare RecurrentGPT per creare narrativa interattiva personalizzata che interagisce direttamente con i lettori invece che con gli scrittori. Più in generale, RecurrentGPT dimostra l'utilità di prendere in prestito idee dai design di modelli popolari nella scienza cognitiva e nel deep learning per il prompting degli LLM. Il nostro codice è disponibile all'indirizzo https://github.com/aiwaves-cn/RecurrentGPT e una demo online è disponibile all'indirizzo https://www.aiwaves.org/recurrentgpt.

English

The fixed-size context of Transformer makes GPT models incapable of generating arbitrarily long text. In this paper, we introduce RecurrentGPT, a language-based simulacrum of the recurrence mechanism in RNNs. RecurrentGPT is built upon a large language model (LLM) such as ChatGPT and uses natural language to simulate the Long Short-Term Memory mechanism in an LSTM. At each timestep, RecurrentGPT generates a paragraph of text and updates its language-based long-short term memory stored on the hard drive and the prompt, respectively. This recurrence mechanism enables RecurrentGPT to generate texts of arbitrary length without forgetting. Since human users can easily observe and edit the natural language memories, RecurrentGPT is interpretable and enables interactive generation of long text. RecurrentGPT is an initial step towards next-generation computer-assisted writing systems beyond local editing suggestions. In addition to producing AI-generated content (AIGC), we also demonstrate the possibility of using RecurrentGPT as an interactive fiction that directly interacts with consumers. We call this usage of generative models by ``AI As Contents'' (AIAC), which we believe is the next form of conventional AIGC. We further demonstrate the possibility of using RecurrentGPT to create personalized interactive fiction that directly interacts with readers instead of interacting with writers. More broadly, RecurrentGPT demonstrates the utility of borrowing ideas from popular model designs in cognitive science and deep learning for prompting LLMs. Our code is available at https://github.com/aiwaves-cn/RecurrentGPT and an online demo is available at https://www.aiwaves.org/recurrentgpt.