BlackGoose Rimer: 大規模時系列モデリングにおけるTransformerのシンプルかつ優れた代替としてのRWKV-7の活用

BlackGoose Rimer: Harnessing RWKV-7 as a Simple yet Superior Replacement for Transformers in Large-Scale Time Series Modeling

March 8, 2025

著者: Li weile, Liu Xiao

cs.AI

要旨

時系列モデルは、大規模言語モデル（LLM）で達成されたスケーリングと同様に、大規模で複雑なデータセットを扱う際に重大な課題に直面しています。時系列データの独特な特性と、モデルのスケーリングに伴う計算上の要求は、革新的なアプローチを必要とします。研究者たちは、これらの課題に対処するためにTransformer、LSTM、GRUなどの様々なアーキテクチャを探求してきましたが、我々はRWKV-7を用いた新たな解決策を提案します。RWKV-7は、その状態更新メカニズムにメタ学習を組み込んでいます。RWKV-7の時間混合（time mix）とチャネル混合（channel mix）コンポーネントをTransformerベースの時系列モデルTimerに統合することで、約1.13倍から43.3倍の性能向上と、パラメータ数を1/23に抑えながらトレーニング時間を4.5倍短縮することに成功しました。我々のコードとモデルウェイトは、さらなる研究と開発のためにhttps://github.com/Alic-Li/BlackGoose_Rimerで公開されています。

English

Time series models face significant challenges in scaling to handle large and complex datasets, akin to the scaling achieved by large language models (LLMs). The unique characteristics of time series data and the computational demands of model scaling necessitate innovative approaches. While researchers have explored various architectures such as Transformers, LSTMs, and GRUs to address these challenges, we propose a novel solution using RWKV-7, which incorporates meta-learning into its state update mechanism. By integrating RWKV-7's time mix and channel mix components into the transformer-based time series model Timer, we achieve a substantial performance improvement of approximately 1.13 to 43.3x and a 4.5x reduction in training time with 1/23 parameters, all while utilizing fewer parameters. Our code and model weights are publicly available for further research and development at https://github.com/Alic-Li/BlackGoose_Rimer.