소형 언어 모델은 에이전트형 AI의 미래이다
Small Language Models are the Future of Agentic AI
June 2, 2025
저자: Peter Belcak, Greg Heinrich, Shizhe Diao, Yonggan Fu, Xin Dong, Saurav Muralidharan, Yingyan Celine Lin, Pavlo Molchanov
cs.AI
초록
대형 언어 모델(LLMs)은 다양한 작업에서 인간에 가까운 성능을 보이며 일반적인 대화를 나눌 수 있는 능력으로 높이 평가받고 있다. 그러나 에이전트형 AI 시스템의 부상은 언어 모델이 소수의 특화된 작업을 반복적이고 거의 변형 없이 수행하는 수많은 애플리케이션을 이끌고 있다.
여기서 우리는 소형 언어 모델(SLMs)이 에이전트 시스템에서의 많은 호출에 대해 충분히 강력하고, 본질적으로 더 적합하며, 필연적으로 더 경제적이므로 에이전트형 AI의 미래가 될 것이라는 입장을 제시한다. 우리의 주장은 현재 SLMs가 보여주는 능력 수준, 에이전트 시스템의 일반적인 아키텍처, 그리고 언어 모델 배치의 경제성에 기반을 두고 있다. 또한, 일반적인 대화 능력이 필수적인 상황에서는 이질적 에이전트 시스템(즉, 여러 다른 모델을 호출하는 에이전트)이 자연스러운 선택임을 주장한다. 우리는 에이전트 시스템에서 SLMs의 채택을 가로막는 잠재적 장벽에 대해 논의하고, 일반적인 LLM-to-SLM 에이전트 변환 알고리즘을 개괄한다.
우리의 입장은 가치 선언으로 공식화되어, LLMs에서 SLMs로의 부분적 전환이 AI 에이전트 산업에 미칠 운영적 및 경제적 영향의 중요성을 강조한다. 우리는 AI 자원의 효과적 사용에 대한 논의를 촉진하고, 현재 AI의 비용을 낮추기 위한 노력을 진전시키고자 한다. 우리의 입장에 대한 기여와 비판을 모두 요청하며, 이러한 모든 서신을 https://research.nvidia.com/labs/lpr/slm-agents에 게시할 것을 약속한다.
English
Large language models (LLMs) are often praised for exhibiting near-human
performance on a wide range of tasks and valued for their ability to hold a
general conversation. The rise of agentic AI systems is, however, ushering in a
mass of applications in which language models perform a small number of
specialized tasks repetitively and with little variation.
Here we lay out the position that small language models (SLMs) are
sufficiently powerful, inherently more suitable, and necessarily more
economical for many invocations in agentic systems, and are therefore the
future of agentic AI. Our argumentation is grounded in the current level of
capabilities exhibited by SLMs, the common architectures of agentic systems,
and the economy of LM deployment. We further argue that in situations where
general-purpose conversational abilities are essential, heterogeneous agentic
systems (i.e., agents invoking multiple different models) are the natural
choice. We discuss the potential barriers for the adoption of SLMs in agentic
systems and outline a general LLM-to-SLM agent conversion algorithm.
Our position, formulated as a value statement, highlights the significance of
the operational and economic impact even a partial shift from LLMs to SLMs is
to have on the AI agent industry. We aim to stimulate the discussion on the
effective use of AI resources and hope to advance the efforts to lower the
costs of AI of the present day. Calling for both contributions to and critique
of our position, we commit to publishing all such correspondence at
https://research.nvidia.com/labs/lpr/slm-agents.