RWKV-7 "Goose" avec Évolution Dynamique Expressive de l'ÉtatRWKV-7 "Goose" with Expressive Dynamic State Evolution
Nous présentons RWKV-7 "Goose", une nouvelle architecture de modélisation de séquences, accompagnée de modèles de langage pré-entraînés qui établissent un nouvel état de l'art en termes de performance en aval à l'échelle de 3 milliards de paramètres sur des tâches multilingues, et égalent les performances actuelles de l'état de l'art pour la langue anglaise malgré un entraînement sur un nombre considérablement moins élevé de tokens que les autres modèles de pointe à 3 milliards de paramètres. Néanmoins, les modèles RWKV-7 nécessitent uniquement une utilisation de mémoire constante et un temps d'inférence constant par token. RWKV-7 introduit une nouvelle formulation généralisée de la règle delta avec un gating à valeurs vectorielles et des taux d'apprentissage en contexte, ainsi qu'une règle de remplacement de valeurs assouplie. Nous montrons que RWKV-7 peut effectuer un suivi d'état et reconnaître tous les langages réguliers, tout en conservant la parallélisabilité de l'entraînement. Cela dépasse les capacités des Transformers sous les conjectures de complexité standard, qui sont limitées à TC^0. Pour démontrer la capacité de modélisation de langage de RWKV-7, nous présentons également un corpus multilingue open source étendu de 3,1 billions de tokens, et entraînons quatre modèles RWKV-7 allant de 0,19 à 2,9 milliards de paramètres sur cet ensemble de données. Pour favoriser l'ouverture, la reproduction et l'adoption, nous publions nos modèles et la liste des composants de l'ensemble de données sur https://huggingface.co/RWKV, ainsi que notre code d'entraînement et d'inférence sur https://github.com/RWKV/RWKV-LM, le tout sous licence Apache 2.0.