Effizientes Schließen am Edge

Efficient Reasoning on the Edge

March 17, 2026

Autoren: Yelysei Bondarenko, Thomas Hehn, Rob Hesselink, Romain Lepert, Fabio Valerio Massoli, Evgeny Mironov, Leyla Mirvakhabova, Tribhuvanesh Orekondy, Spyridon Stasis, Andrey Kuzmin, Anna Kuzina, Markus Nagel, Ankita Nayak, Corrado Rainone, Ork de Rooij, Paul N Whatmough, Arash Behboodi, Babak Ehteshami Bejnordi

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) mit Chain-of-Thought-Reasoning erzielen Spitzenleistungen bei komplexen Problemlösungsaufgaben, doch ihre umfangreichen Reasoning-Pfade und hohen Kontextanforderungen machen sie für den Edge-Einsatz unpraktisch. Diese Herausforderungen umfassen hohe Token-Generierungskosten, großen KV-Cache-Speicherbedarf und Ineffizienzen bei der Distillation von Reasoning-Fähigkeiten in kleinere Modelle für Mobilgeräte. Bestehende Ansätze stützen sich oft auf die Distillation von Reasoning-Pfaden größerer Modelle in kleinere Modelle, die wortreich und stilistisch redundant sind – unerwünscht für On-Device-Inferenz. In dieser Arbeit schlagen wir einen leichtgewichtigen Ansatz vor, um Reasoning in kleinen LLMs mittels LoRA-Adapter in Kombination mit überwachtem Fine-Tuning zu ermöglichen. Wir führen zudem Budget Forcing via Reinforcement Learning für diese Adapter ein, was die Antwortlänge bei minimalem Genauigkeitsverlust erheblich reduziert. Um speicherbegrenzte Decodierung zu adressieren, nutzen wir paralleles Test-Time-Scaling, das die Genauigkeit bei geringer Latenzsteigerung verbessert. Schließlich präsentieren wir einen dynamischen Adapter-Switching-Mechanismus, der Reasoning nur bei Bedarf aktiviert, sowie eine KV-Cache-Sharing-Strategie während der Prompt-Encodierung, die die Time-to-First-Token für On-Device-Inferenz reduziert. Experimente mit Qwen2.5-7B zeigen, dass unsere Methode effizientes und präzises Reasoning unter strengen Ressourcenbedingungen erreicht und LLM-Reasoning für mobile Szenarien praktikabel macht. Videos, die unsere Lösung auf Mobilgeräten zeigen, sind auf unserer Projektseite verfügbar.

English

Large language models (LLMs) with chain-of-thought reasoning achieve state-of-the-art performance across complex problem-solving tasks, but their verbose reasoning traces and large context requirements make them impractical for edge deployment. These challenges include high token generation costs, large KV-cache footprints, and inefficiencies when distilling reasoning capabilities into smaller models for mobile devices. Existing approaches often rely on distilling reasoning traces from larger models into smaller models, which are verbose and stylistically redundant, undesirable for on-device inference. In this work, we propose a lightweight approach to enable reasoning in small LLMs using LoRA adapters combined with supervised fine-tuning. We further introduce budget forcing via reinforcement learning on these adapters, significantly reducing response length with minimal accuracy loss. To address memory-bound decoding, we exploit parallel test-time scaling, improving accuracy at minor latency increase. Finally, we present a dynamic adapter-switching mechanism that activates reasoning only when needed and a KV-cache sharing strategy during prompt encoding, reducing time-to-first-token for on-device inference. Experiments on Qwen2.5-7B demonstrate that our method achieves efficient, accurate reasoning under strict resource constraints, making LLM reasoning practical for mobile scenarios. Videos demonstrating our solution running on mobile devices are available on our project page.