RWKV-7 "Goose" met Expressieve Dynamische Staatsevolutie

RWKV-7 "Goose" with Expressive Dynamic State Evolution

March 18, 2025

Auteurs: Bo Peng, Ruichong Zhang, Daniel Goldstein, Eric Alcaide, Haowen Hou, Janna Lu, William Merrill, Guangyu Song, Kaifeng Tan, Saiteja Utpala, Nathan Wilce, Johan S. Wind, Tianyi Wu, Daniel Wuttke, Christian Zhou-Zheng

cs.AI

Samenvatting

We presenteren RWKV-7 "Goose", een nieuwe architectuur voor sequentiemodellering, samen met vooraf getrainde taalmodelen die een nieuwe staat-van-de-kunst vestigen in downstream prestaties op het niveau van 3 miljard parameters voor meertalige taken, en die de huidige staat-van-de-kunst prestaties voor de Engelse taal evenaren, ondanks dat ze getraind zijn op aanzienlijk minder tokens dan andere top 3B-modellen. Desalniettemin vereisen RWKV-7-modellen slechts constant geheugengebruik en constante inferentietijd per token. RWKV-7 introduceert een nieuw gegeneraliseerde formulering van de delta-regel met vectorwaardige gating en in-context leersnelheden, evenals een versoepelde waardevervangingsregel. We tonen aan dat RWKV-7 staatstracking kan uitvoeren en alle reguliere talen kan herkennen, terwijl de paralleliseerbaarheid van training behouden blijft. Dit overtreft de mogelijkheden van Transformers onder standaard complexiteitsveronderstellingen, die beperkt zijn tot TC^0. Om de taalmodelleercapaciteit van RWKV-7 te demonstreren, presenteren we ook een uitgebreid open source meertalig corpus van 3,1 biljoen tokens, en trainen we vier RWKV-7-modellen variërend van 0,19 miljard tot 2,9 miljard parameters op deze dataset. Om openheid, reproductie en adoptie te bevorderen, maken we onze modellen en datasetcomponentenlijst beschikbaar op https://huggingface.co/RWKV, en onze trainings- en inferentiecode op https://github.com/RWKV/RWKV-LM, allemaal onder de Apache 2.0-licentie.

English

We present RWKV-7 "Goose", a new sequence modeling architecture, along with pre-trained language models that establish a new state-of-the-art in downstream performance at the 3 billion parameter scale on multilingual tasks, and match current SoTA English language performance despite being trained on dramatically fewer tokens than other top 3B models. Nevertheless, RWKV-7 models require only constant memory usage and constant inference time per token. RWKV-7 introduces a newly generalized formulation of the delta rule with vector-valued gating and in-context learning rates, as well as a relaxed value replacement rule. We show that RWKV-7 can perform state tracking and recognize all regular languages, while retaining parallelizability of training. This exceeds the capabilities of Transformers under standard complexity conjectures, which are limited to TC^0. To demonstrate RWKV-7's language modeling capability, we also present an extended open source 3.1 trillion token multilingual corpus, and train four RWKV-7 models ranging from 0.19 billion to 2.9 billion parameters on this dataset. To foster openness, reproduction, and adoption, we release our models and dataset component listing at https://huggingface.co/RWKV, and our training and inference code at https://github.com/RWKV/RWKV-LM all under the Apache 2.0 License.