ConsumerBench: Тестирование генеративных приложений ИИ на пользовательских устройствах
ConsumerBench: Benchmarking Generative AI Applications on End-User Devices
June 21, 2025
Авторы: Yile Gu, Rohan Kadekodi, Hoang Nguyen, Keisuke Kamahori, Yiyu Liu, Baris Kasikci
cs.AI
Аннотация
Недавний переход приложений генеративного ИИ (GenAI) из исключительно облачных сред на устройства конечных пользователей влечет за собой новые вызовы в управлении ресурсами, эффективности систем и пользовательском опыте. В данной статье представлен ConsumerBench — комплексный фреймворк для бенчмаркинга, предназначенный для оценки системной эффективности и времени отклика моделей GenAI, работающих на устройствах конечных пользователей. В отличие от существующих бенчмарков, которые предполагают эксклюзивный доступ к моделям на выделенных GPU, ConsumerBench моделирует реалистичные сценарии с одновременным выполнением нескольких приложений на ограниченном аппаратном обеспечении. Кроме того, ConsumerBench поддерживает настраиваемые рабочие процессы, имитирующие сложные задачи, требующие координации между несколькими приложениями. ConsumerBench фиксирует как метрики на уровне приложений, включая задержку и достижение целевых показателей уровня обслуживания (SLO), так и системные метрики, такие как использование CPU/GPU и пропускная способность памяти. В ходе обширных экспериментов ConsumerBench выявляет неэффективность распределения ресурсов, несправедливое планирование при жадном распределении и проблемы производительности статических конфигураций серверов моделей. В статье также представлены практические рекомендации для разработчиков моделей и проектировщиков систем, подчеркивающие преимущества специализированных ядер, оптимизированных для архитектур GPU потребительского уровня, и ценность реализации стратегий планирования, учитывающих целевые показатели уровня обслуживания (SLO).
English
The recent shift in Generative AI (GenAI) applications from cloud-only
environments to end-user devices introduces new challenges in resource
management, system efficiency, and user experience. This paper presents
ConsumerBench, a comprehensive benchmarking framework designed to evaluate the
system efficiency and response time of GenAI models running on end-user
devices. Unlike existing benchmarks that assume exclusive model access on
dedicated GPUs, ConsumerBench simulates realistic multi-application scenarios
executing concurrently on constrained hardware. Furthermore, ConsumerBench
supports customizable workflows that simulate complex tasks requiring
coordination among multiple applications. ConsumerBench captures both
application-level metrics, including latency and Service Level Objective (SLO)
attainment, and system-level metrics like CPU/GPU utilization and memory
bandwidth. Through extensive experiments, ConsumerBench reveals inefficiencies
in resource sharing, unfair scheduling under greedy allocation, and performance
pitfalls of static model server configurations. The paper also provides
practical insights for model developers and system designers, highlighting the
benefits of custom kernels tailored to consumer-grade GPU architectures and the
value of implementing SLO-aware scheduling strategies.