Эффективное логическое рассуждение на периферийных устройствах

Efficient Reasoning on the Edge

March 17, 2026

Авторы: Yelysei Bondarenko, Thomas Hehn, Rob Hesselink, Romain Lepert, Fabio Valerio Massoli, Evgeny Mironov, Leyla Mirvakhabova, Tribhuvanesh Orekondy, Spyridon Stasis, Andrey Kuzmin, Anna Kuzina, Markus Nagel, Ankita Nayak, Corrado Rainone, Ork de Rooij, Paul N Whatmough, Arash Behboodi, Babak Ehteshami Bejnordi

cs.AI

Аннотация

Крупные языковые модели (LLMs) с цепочечными рассуждениями демонстрируют наилучшие результаты в решении сложных задач, однако их многословные траектории рассуждений и большие требования к контексту делают их непрактичными для развертывания на периферийных устройствах. Эти проблемы включают высокую стоимость генерации токенов, большой объем кэша ключей-значений (KV-cache) и неэффективность при переносе способности к рассуждениям в меньшие модели для мобильных устройств. Существующие подходы часто основаны на дистилляции траекторий рассуждений из больших моделей в меньшие, которые являются многословными и стилистически избыточными, что нежелательно для инференса на устройстве. В данной работе мы предлагаем легковесный подход для включения способности к рассуждениям в малых LLMs с использованием адаптеров LoRA в сочетании с контролируемым тонким настраиванием. Мы также вводим бюджетное форсирование с помощью обучения с подкреплением на этих адаптерах, что значительно сокращает длину ответа при минимальной потере точности. Для решения проблемы ограничений памяти при декодировании мы используем параллельное масштабирование на этапе тестирования, улучшая точность при незначительном увеличении задержки. Наконец, мы представляем механизм динамического переключения адаптеров, который активирует рассуждения только при необходимости, и стратегию совместного использования KV-cache при кодировании промпта, сокращая время до первого токена для инференса на устройстве. Эксперименты на Qwen2.5-7B показывают, что наш метод обеспечивает эффективные и точные рассуждения в условиях строгих ресурсных ограничений, делая рассуждения LLMs практичными для мобильных сценариев. Видео с демонстрацией работы нашего решения на мобильных устройствах доступны на странице проекта.

English

Large language models (LLMs) with chain-of-thought reasoning achieve state-of-the-art performance across complex problem-solving tasks, but their verbose reasoning traces and large context requirements make them impractical for edge deployment. These challenges include high token generation costs, large KV-cache footprints, and inefficiencies when distilling reasoning capabilities into smaller models for mobile devices. Existing approaches often rely on distilling reasoning traces from larger models into smaller models, which are verbose and stylistically redundant, undesirable for on-device inference. In this work, we propose a lightweight approach to enable reasoning in small LLMs using LoRA adapters combined with supervised fine-tuning. We further introduce budget forcing via reinforcement learning on these adapters, significantly reducing response length with minimal accuracy loss. To address memory-bound decoding, we exploit parallel test-time scaling, improving accuracy at minor latency increase. Finally, we present a dynamic adapter-switching mechanism that activates reasoning only when needed and a KV-cache sharing strategy during prompt encoding, reducing time-to-first-token for on-device inference. Experiments on Qwen2.5-7B demonstrate that our method achieves efficient, accurate reasoning under strict resource constraints, making LLM reasoning practical for mobile scenarios. Videos demonstrating our solution running on mobile devices are available on our project page.