Efficiënt Redeneren aan de Edge

Efficient Reasoning on the Edge

March 17, 2026

Auteurs: Yelysei Bondarenko, Thomas Hehn, Rob Hesselink, Romain Lepert, Fabio Valerio Massoli, Evgeny Mironov, Leyla Mirvakhabova, Tribhuvanesh Orekondy, Spyridon Stasis, Andrey Kuzmin, Anna Kuzina, Markus Nagel, Ankita Nayak, Corrado Rainone, Ork de Rooij, Paul N Whatmough, Arash Behboodi, Babak Ehteshami Bejnordi

cs.AI

Samenvatting

Grote taalmodellen (LLM's) met chain-of-thought-redenering behalen state-of-the-art prestaties bij complexe probleemoplossende taken, maar hun uitgebreide redeneersporen en grote contextbehoeften maken ze onpraktisch voor edge-implementatie. Deze uitdagingen omvatten hoge token-generatiekosten, grote KV-cache-footprints en inefficiënties bij het destilleren van redeneervermogens naar kleinere modellen voor mobiele apparaten. Bestaande benaderingen zijn vaak gebaseerd op het destilleren van redeneersporen van grotere modellen naar kleinere modellen, die uitgebreid en stilistisch redundant zijn, wat ongewenst is voor on-device inferentie. In dit werk stellen we een lichtgewicht benadering voor om redeneren in kleine LLM's mogelijk te maken met behulp van LoRA-adaptermodules gecombineerd met supervised fine-tuning. We introduceren verder budget forcing via reinforcement learning op deze adapters, wat de responslengte aanzienlijk verkort met minimaal verlies aan nauwkeurigheid. Om geheugengebonden decodering aan te pakken, benutten we parallelle test-time scaling, wat de nauwkeurigheid verbetert tegen een geringe latentietoename. Ten slotte presenteren we een dynamisch adapter-switching-mechanisme dat redeneren alleen activeert wanneer nodig en een KV-cache-delingstrategie tijdens promptcodering, wat de time-to-first-token voor on-device inferentie vermindert. Experimenten met Qwen2.5-7B tonen aan dat onze methode efficiënte, nauwkeurige redenering bereikt onder strikte resourcebeperkingen, waardoor LLM-redenering praktisch wordt voor mobiele scenario's. Video's die onze oplossing tonen op mobiele apparaten zijn beschikbaar op onze projectpagina.

English

Large language models (LLMs) with chain-of-thought reasoning achieve state-of-the-art performance across complex problem-solving tasks, but their verbose reasoning traces and large context requirements make them impractical for edge deployment. These challenges include high token generation costs, large KV-cache footprints, and inefficiencies when distilling reasoning capabilities into smaller models for mobile devices. Existing approaches often rely on distilling reasoning traces from larger models into smaller models, which are verbose and stylistically redundant, undesirable for on-device inference. In this work, we propose a lightweight approach to enable reasoning in small LLMs using LoRA adapters combined with supervised fine-tuning. We further introduce budget forcing via reinforcement learning on these adapters, significantly reducing response length with minimal accuracy loss. To address memory-bound decoding, we exploit parallel test-time scaling, improving accuracy at minor latency increase. Finally, we present a dynamic adapter-switching mechanism that activates reasoning only when needed and a KV-cache sharing strategy during prompt encoding, reducing time-to-first-token for on-device inference. Experiments on Qwen2.5-7B demonstrate that our method achieves efficient, accurate reasoning under strict resource constraints, making LLM reasoning practical for mobile scenarios. Videos demonstrating our solution running on mobile devices are available on our project page.