InfiR：推論における効果的な小型言語モデルとマルチモーダル小型言語モデルの構築

InfiR : Crafting Effective Small Language Models and Multimodal Small Language Models in Reasoning

February 17, 2025

著者: Congkai Xie, Shuo Cai, Wenjun Wang, Pengxiang Li, Zhijie Sang, Kejing Yang, Yiming Zhang, Zhen Li, Guanghao Zhu, Zeyu Liu, Yang Yu, Yuhang Liu, Su Lu, Baoyi He, Qi Zhou, Xiaotian Han, Jianbo Yuan, Shengyu Zhang, Fei Wu, Hongxia Yang

cs.AI

要旨

大規模言語モデル（LLM）およびマルチモーダル大規模言語モデル（MLLM）は、推論能力において大きな進展を遂げてきました。しかし、依然として高い計算需要やプライバシーに関する課題が存在します。本論文では、競争力のある推論能力を維持しつつ、効率的な小型言語モデル（SLM）およびマルチモーダル小型言語モデル（MSLM）の開発に焦点を当てています。我々は、推論能力を向上させ、エッジデバイスへの展開を容易にする新しいトレーニングパイプラインを提案し、開発コストを最小化しながら最先端の性能を達成しました。\InfR~は、より小さなモデルサイズを通じて推論能力の向上、採用障壁の低減、プライバシー問題の解決を図ることで、AIシステムの進化を目指しています。リソースはhttps://github.com/Reallm-Labs/InfiRで公開されています。

English

Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs) have made significant advancements in reasoning capabilities. However, they still face challenges such as high computational demands and privacy concerns. This paper focuses on developing efficient Small Language Models (SLMs) and Multimodal Small Language Models (MSLMs) that retain competitive reasoning abilities. We introduce a novel training pipeline that enhances reasoning capabilities and facilitates deployment on edge devices, achieving state-of-the-art performance while minimizing development costs. \InfR~ aims to advance AI systems by improving reasoning, reducing adoption barriers, and addressing privacy concerns through smaller model sizes. Resources are available at https://github. com/Reallm-Labs/InfiR.