Kleine Sprachmodelle sind die Zukunft der agentenbasierten KI.

Small Language Models are the Future of Agentic AI

June 2, 2025

Autoren: Peter Belcak, Greg Heinrich, Shizhe Diao, Yonggan Fu, Xin Dong, Saurav Muralidharan, Yingyan Celine Lin, Pavlo Molchanov

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) werden oft dafür gelobt, dass sie auf einer breiten Palette von Aufgaben nahezu menschliche Leistungen erbringen und für ihre Fähigkeit geschätzt werden, allgemeine Gespräche zu führen. Der Aufstieg agentenbasierter KI-Systeme führt jedoch zu einer Vielzahl von Anwendungen, in denen Sprachmodelle eine kleine Anzahl spezialisierter Aufgaben wiederholt und mit geringer Variation ausführen. Hier vertreten wir die Position, dass kleine Sprachmodelle (SLMs) für viele Anwendungen in agentenbasierten Systemen ausreichend leistungsstark, inhärent besser geeignet und notwendigerweise wirtschaftlicher sind und daher die Zukunft der agentenbasierten KI darstellen. Unsere Argumentation stützt sich auf das derzeitige Leistungsniveau von SLMs, die gängigen Architekturen agentenbasierter Systeme und die Wirtschaftlichkeit des Einsatzes von Sprachmodellen. Wir argumentieren weiter, dass in Situationen, in denen allgemeine Konversationsfähigkeiten unerlässlich sind, heterogene agentenbasierte Systeme (d. h. Agenten, die mehrere verschiedene Modelle aufrufen) die natürliche Wahl sind. Wir diskutieren die potenziellen Hindernisse für die Einführung von SLMs in agentenbasierten Systemen und skizzieren einen allgemeinen Algorithmus zur Umwandlung von LLM- in SLM-Agenten. Unsere Position, als Wertaussage formuliert, unterstreicht die Bedeutung der operativen und wirtschaftlichen Auswirkungen, die selbst eine teilweise Verlagerung von LLMs zu SLMs auf die KI-Agentenindustrie haben wird. Unser Ziel ist es, die Diskussion über den effektiven Einsatz von KI-Ressourcen anzuregen und die Bemühungen zur Senkung der heutigen KI-Kosten voranzutreiben. Wir rufen sowohl zu Beiträgen als auch zur Kritik unserer Position auf und verpflichten uns, alle entsprechenden Korrespondenzen unter https://research.nvidia.com/labs/lpr/slm-agents zu veröffentlichen.

English

Large language models (LLMs) are often praised for exhibiting near-human performance on a wide range of tasks and valued for their ability to hold a general conversation. The rise of agentic AI systems is, however, ushering in a mass of applications in which language models perform a small number of specialized tasks repetitively and with little variation. Here we lay out the position that small language models (SLMs) are sufficiently powerful, inherently more suitable, and necessarily more economical for many invocations in agentic systems, and are therefore the future of agentic AI. Our argumentation is grounded in the current level of capabilities exhibited by SLMs, the common architectures of agentic systems, and the economy of LM deployment. We further argue that in situations where general-purpose conversational abilities are essential, heterogeneous agentic systems (i.e., agents invoking multiple different models) are the natural choice. We discuss the potential barriers for the adoption of SLMs in agentic systems and outline a general LLM-to-SLM agent conversion algorithm. Our position, formulated as a value statement, highlights the significance of the operational and economic impact even a partial shift from LLMs to SLMs is to have on the AI agent industry. We aim to stimulate the discussion on the effective use of AI resources and hope to advance the efforts to lower the costs of AI of the present day. Calling for both contributions to and critique of our position, we commit to publishing all such correspondence at https://research.nvidia.com/labs/lpr/slm-agents.