RecurrentGPT: Интерактивная генерация (произвольно) длинных текстов

RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text

May 22, 2023

Авторы: Wangchunshu Zhou, Yuchen Eleanor Jiang, Peng Cui, Tiannan Wang, Zhenxin Xiao, Yifan Hou, Ryan Cotterell, Mrinmaya Sachan

cs.AI

Аннотация

Фиксированный размер контекста в Transformer делает модели GPT неспособными генерировать текст произвольной длины. В данной статье мы представляем RecurrentGPT — языковую симуляцию механизма рекуррентности, используемого в RNN. RecurrentGPT построен на основе крупной языковой модели (LLM), такой как ChatGPT, и использует естественный язык для имитации механизма долгой краткосрочной памяти (LSTM). На каждом временном шаге RecurrentGPT генерирует абзац текста и обновляет свою языковую долгосрочную и краткосрочную память, хранящуюся на жестком диске и в подсказке соответственно. Этот механизм рекуррентности позволяет RecurrentGPT генерировать тексты произвольной длины без потери информации. Поскольку пользователи могут легко наблюдать и редактировать естественно-языковые воспоминания, RecurrentGPT является интерпретируемым и позволяет интерактивно генерировать длинные тексты. RecurrentGPT представляет собой первый шаг к созданию систем компьютерного сопровождения написания текстов нового поколения, выходящих за рамки локальных предложений по редактированию. Помимо создания контента, генерируемого ИИ (AIGC), мы также демонстрируем возможность использования RecurrentGPT в качестве интерактивной художественной литературы, которая напрямую взаимодействует с потребителями. Мы называем этот способ использования генеративных моделей «ИИ как контент» (AIAC), который, по нашему мнению, является следующей формой традиционного AIGC. Мы также показываем возможность использования RecurrentGPT для создания персонализированной интерактивной литературы, которая напрямую взаимодействует с читателями, а не с авторами. В более широком смысле, RecurrentGPT демонстрирует полезность заимствования идей из популярных моделей когнитивной науки и глубокого обучения для создания подсказок для LLM. Наш код доступен по адресу https://github.com/aiwaves-cn/RecurrentGPT, а онлайн-демонстрация — на сайте https://www.aiwaves.org/recurrentgpt.

English

The fixed-size context of Transformer makes GPT models incapable of generating arbitrarily long text. In this paper, we introduce RecurrentGPT, a language-based simulacrum of the recurrence mechanism in RNNs. RecurrentGPT is built upon a large language model (LLM) such as ChatGPT and uses natural language to simulate the Long Short-Term Memory mechanism in an LSTM. At each timestep, RecurrentGPT generates a paragraph of text and updates its language-based long-short term memory stored on the hard drive and the prompt, respectively. This recurrence mechanism enables RecurrentGPT to generate texts of arbitrary length without forgetting. Since human users can easily observe and edit the natural language memories, RecurrentGPT is interpretable and enables interactive generation of long text. RecurrentGPT is an initial step towards next-generation computer-assisted writing systems beyond local editing suggestions. In addition to producing AI-generated content (AIGC), we also demonstrate the possibility of using RecurrentGPT as an interactive fiction that directly interacts with consumers. We call this usage of generative models by ``AI As Contents'' (AIAC), which we believe is the next form of conventional AIGC. We further demonstrate the possibility of using RecurrentGPT to create personalized interactive fiction that directly interacts with readers instead of interacting with writers. More broadly, RecurrentGPT demonstrates the utility of borrowing ideas from popular model designs in cognitive science and deep learning for prompting LLMs. Our code is available at https://github.com/aiwaves-cn/RecurrentGPT and an online demo is available at https://www.aiwaves.org/recurrentgpt.