InfiR: Construindo Modelos de Linguagem Pequenos Eficazes e Modelos de Linguagem Pequenos Multimodais para Raciocínio
InfiR : Crafting Effective Small Language Models and Multimodal Small Language Models in Reasoning
February 17, 2025
Autores: Congkai Xie, Shuo Cai, Wenjun Wang, Pengxiang Li, Zhijie Sang, Kejing Yang, Yiming Zhang, Zhen Li, Guanghao Zhu, Zeyu Liu, Yang Yu, Yuhang Liu, Su Lu, Baoyi He, Qi Zhou, Xiaotian Han, Jianbo Yuan, Shengyu Zhang, Fei Wu, Hongxia Yang
cs.AI
Resumo
Modelos de Linguagem de Grande Porte (LLMs) e Modelos de Linguagem Multimodal de Grande Porte (MLLMs) têm alcançado avanços significativos em capacidades de raciocínio. No entanto, eles ainda enfrentam desafios como altas demandas computacionais e preocupações com privacidade. Este artigo foca no desenvolvimento de Modelos de Linguagem Pequenos (SLMs) e Modelos de Linguagem Multimodal Pequenos (MSLMs) eficientes que mantêm habilidades de raciocínio competitivas. Introduzimos um pipeline de treinamento inovador que aprimora as capacidades de raciocínio e facilita a implantação em dispositivos de borda, alcançando desempenho de ponta enquanto minimiza os custos de desenvolvimento. O \InfR~ visa avançar os sistemas de IA ao melhorar o raciocínio, reduzir as barreiras de adoção e abordar preocupações com privacidade por meio de tamanhos de modelo menores. Recursos estão disponíveis em https://github.com/Reallm-Labs/InfiR.
English
Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs)
have made significant advancements in reasoning capabilities. However, they
still face challenges such as high computational demands and privacy concerns.
This paper focuses on developing efficient Small Language Models (SLMs) and
Multimodal Small Language Models (MSLMs) that retain competitive reasoning
abilities. We introduce a novel training pipeline that enhances reasoning
capabilities and facilitates deployment on edge devices, achieving
state-of-the-art performance while minimizing development costs. \InfR~ aims to
advance AI systems by improving reasoning, reducing adoption barriers, and
addressing privacy concerns through smaller model sizes. Resources are
available at https://github. com/Reallm-Labs/InfiR.