RecurrentGPT: (임의의) 장문 텍스트의 인터랙티브 생성

RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text

May 22, 2023

저자: Wangchunshu Zhou, Yuchen Eleanor Jiang, Peng Cui, Tiannan Wang, Zhenxin Xiao, Yifan Hou, Ryan Cotterell, Mrinmaya Sachan

cs.AI

초록

고정된 크기의 컨텍스트를 사용하는 Transformer는 GPT 모델이 임의로 긴 텍스트를 생성하는 데 한계를 가집니다. 본 논문에서는 RNN의 순환 메커니즘을 언어 기반으로 시뮬레이션한 RecurrentGPT를 소개합니다. RecurrentGPT는 ChatGPT와 같은 대형 언어 모델(LLM)을 기반으로 구축되었으며, 자연어를 사용하여 LSTM의 장단기 메모리(Long Short-Term Memory) 메커니즘을 시뮬레이션합니다. 각 시간 단계에서 RecurrentGPT는 텍스트의 한 단락을 생성하고 하드 드라이브와 프롬프트에 저장된 언어 기반의 장단기 메모리를 각각 업데이트합니다. 이 순환 메커니즘은 RecurrentGPT가 잊지 않고 임의의 길이의 텍스트를 생성할 수 있도록 합니다. 인간 사용자가 자연어 메모리를 쉽게 관찰하고 편집할 수 있기 때문에, RecurrentGPT는 해석 가능하며 긴 텍스트의 상호작용적 생성을 가능하게 합니다. RecurrentGPT는 지역적 편집 제안을 넘어 차세대 컴퓨터 보조 작성 시스템을 향한 첫걸음입니다. AI 생성 콘텐츠(AIGC)를 생산하는 것 외에도, RecurrentGPT를 소비자와 직접 상호작용하는 인터랙티브 픽션으로 사용할 가능성도 보여줍니다. 우리는 이러한 생성 모델의 사용을 "콘텐츠로서의 AI"(AIAC)라고 부르며, 이는 기존 AIGC의 다음 형태라고 믿습니다. 또한 RecurrentGPT를 사용하여 작가가 아닌 독자와 직접 상호작용하는 개인 맞춤형 인터랙티브 픽션을 창작할 가능성도 보여줍니다. 더 넓게 보면, RecurrentGPT는 인지 과학과 딥러닝의 인기 있는 모델 설계에서 아이디어를 차용하여 LLM을 프롬프팅하는 데 유용함을 보여줍니다. 우리의 코드는 https://github.com/aiwaves-cn/RecurrentGPT에서 확인할 수 있으며, 온라인 데모는 https://www.aiwaves.org/recurrentgpt에서 이용 가능합니다.

English

The fixed-size context of Transformer makes GPT models incapable of generating arbitrarily long text. In this paper, we introduce RecurrentGPT, a language-based simulacrum of the recurrence mechanism in RNNs. RecurrentGPT is built upon a large language model (LLM) such as ChatGPT and uses natural language to simulate the Long Short-Term Memory mechanism in an LSTM. At each timestep, RecurrentGPT generates a paragraph of text and updates its language-based long-short term memory stored on the hard drive and the prompt, respectively. This recurrence mechanism enables RecurrentGPT to generate texts of arbitrary length without forgetting. Since human users can easily observe and edit the natural language memories, RecurrentGPT is interpretable and enables interactive generation of long text. RecurrentGPT is an initial step towards next-generation computer-assisted writing systems beyond local editing suggestions. In addition to producing AI-generated content (AIGC), we also demonstrate the possibility of using RecurrentGPT as an interactive fiction that directly interacts with consumers. We call this usage of generative models by ``AI As Contents'' (AIAC), which we believe is the next form of conventional AIGC. We further demonstrate the possibility of using RecurrentGPT to create personalized interactive fiction that directly interacts with readers instead of interacting with writers. More broadly, RecurrentGPT demonstrates the utility of borrowing ideas from popular model designs in cognitive science and deep learning for prompting LLMs. Our code is available at https://github.com/aiwaves-cn/RecurrentGPT and an online demo is available at https://www.aiwaves.org/recurrentgpt.