ConsumerBench: Avaliação de Aplicações de IA Generativa em Dispositivos de Usuários Finais

ConsumerBench: Benchmarking Generative AI Applications on End-User Devices

June 21, 2025

Autores: Yile Gu, Rohan Kadekodi, Hoang Nguyen, Keisuke Kamahori, Yiyu Liu, Baris Kasikci

cs.AI

Resumo

A recente mudança nas aplicações de IA Generativa (GenAI) de ambientes exclusivamente em nuvem para dispositivos de usuários finais introduz novos desafios em gerenciamento de recursos, eficiência do sistema e experiência do usuário. Este artigo apresenta o ConsumerBench, uma estrutura abrangente de benchmarking projetada para avaliar a eficiência do sistema e o tempo de resposta de modelos GenAI em execução em dispositivos de usuários finais. Diferente dos benchmarks existentes, que assumem acesso exclusivo ao modelo em GPUs dedicadas, o ConsumerBench simula cenários realistas de múltiplas aplicações executando concorrentemente em hardware limitado. Além disso, o ConsumerBench suporta fluxos de trabalho personalizáveis que simulam tarefas complexas exigindo coordenação entre múltiplas aplicações. O ConsumerBench captura tanto métricas no nível da aplicação, incluindo latência e alcance de Objetivos de Nível de Serviço (SLO), quanto métricas no nível do sistema, como utilização de CPU/GPU e largura de banda de memória. Por meio de extensos experimentos, o ConsumerBench revela ineficiências no compartilhamento de recursos, agendamento injusto sob alocação gananciosa e armadilhas de desempenho em configurações estáticas de servidores de modelos. O artigo também fornece insights práticos para desenvolvedores de modelos e projetistas de sistemas, destacando os benefícios de kernels personalizados adaptados a arquiteturas de GPUs de nível consumidor e o valor da implementação de estratégias de agendamento conscientes de SLO.

English

The recent shift in Generative AI (GenAI) applications from cloud-only environments to end-user devices introduces new challenges in resource management, system efficiency, and user experience. This paper presents ConsumerBench, a comprehensive benchmarking framework designed to evaluate the system efficiency and response time of GenAI models running on end-user devices. Unlike existing benchmarks that assume exclusive model access on dedicated GPUs, ConsumerBench simulates realistic multi-application scenarios executing concurrently on constrained hardware. Furthermore, ConsumerBench supports customizable workflows that simulate complex tasks requiring coordination among multiple applications. ConsumerBench captures both application-level metrics, including latency and Service Level Objective (SLO) attainment, and system-level metrics like CPU/GPU utilization and memory bandwidth. Through extensive experiments, ConsumerBench reveals inefficiencies in resource sharing, unfair scheduling under greedy allocation, and performance pitfalls of static model server configurations. The paper also provides practical insights for model developers and system designers, highlighting the benefits of custom kernels tailored to consumer-grade GPU architectures and the value of implementing SLO-aware scheduling strategies.