Ragionamento Efficiente sul Dispositivo Edge

Abstract

I modelli linguistici di grandi dimensioni (LLM) dotati di ragionamento a catena di pensiero (chain-of-thought) raggiungono prestazioni all'avanguardia in compiti complessi di problem-solving, ma le loro tracce di ragionamento verbose e i grandi requisiti di contesto li rendono impraticabili per il deployment su dispositivi edge. Queste sfide includono elevati costi di generazione di token, ingombri di KV-cache di grandi dimensioni e inefficienze nel distillare le capacità di ragionamento in modelli più piccoli per dispositivi mobili. Gli approcci esistenti spesso si basano sulla distillazione delle tracce di ragionamento da modelli più grandi a modelli più piccoli, che sono verbose e stilisticamente ridondanti, caratteristiche indesiderabili per l'inferenza on-device. In questo lavoro, proponiamo un approccio leggero per abilitare il ragionamento in piccoli LLM utilizzando adattatori LoRA combinati con fine-tuning supervisionato. Introduciamo inoltre il "budget forcing" tramite apprendimento per rinforzo su questi adattatori, riducendo significativamente la lunghezza della risposta con una perdita di accuratezza minima. Per affrontare il decoding vincolato dalla memoria, sfruttiamo lo scaling parallelo al momento del test (parallel test-time scaling), migliorando l'accuratezza con un lieve aumento della latenza. Infine, presentiamo un meccanismo dinamico di commutazione degli adattatori (adapter-switching) che attiva il ragionamento solo quando necessario e una strategia di condivisione della KV-cache durante la codifica del prompt, riducendo il tempo per il primo token (time-to-first-token) per l'inferenza on-device. Esperimenti su Qwen2.5-7B dimostrano che il nostro metodo raggiunge un ragionamento efficiente e accurato sotto stringenti vincoli di risorse, rendendo pratico il ragionamento degli LLM per scenari mobili. Video che dimostrano la nostra soluzione in esecuzione su dispositivi mobili sono disponibili sulla nostra pagina progetto.

English

Large language models (LLMs) with chain-of-thought reasoning achieve state-of-the-art performance across complex problem-solving tasks, but their verbose reasoning traces and large context requirements make them impractical for edge deployment. These challenges include high token generation costs, large KV-cache footprints, and inefficiencies when distilling reasoning capabilities into smaller models for mobile devices. Existing approaches often rely on distilling reasoning traces from larger models into smaller models, which are verbose and stylistically redundant, undesirable for on-device inference. In this work, we propose a lightweight approach to enable reasoning in small LLMs using LoRA adapters combined with supervised fine-tuning. We further introduce budget forcing via reinforcement learning on these adapters, significantly reducing response length with minimal accuracy loss. To address memory-bound decoding, we exploit parallel test-time scaling, improving accuracy at minor latency increase. Finally, we present a dynamic adapter-switching mechanism that activates reasoning only when needed and a KV-cache sharing strategy during prompt encoding, reducing time-to-first-token for on-device inference. Experiments on Qwen2.5-7B demonstrate that our method achieves efficient, accurate reasoning under strict resource constraints, making LLM reasoning practical for mobile scenarios. Videos demonstrating our solution running on mobile devices are available on our project page.

Ragionamento Efficiente sul Dispositivo Edge

Efficient Reasoning on the Edge

Abstract

Support