LLAMAPIE: Assistentes de Conversação Proativos Intra-Auriculares

LLAMAPIE: Proactive In-Ear Conversation Assistants

May 7, 2025

Autores: Tuochao Chen, Nicholas Batchelder, Alisa Liu, Noah Smith, Shyamnath Gollakota

cs.AI

Resumo

Apresentamos o LlamaPIE, o primeiro assistente proativo em tempo real projetado para aprimorar conversas humanas por meio de orientações discretas e concisas entregues via dispositivos auditivos. Diferente dos modelos de linguagem tradicionais que exigem invocação explícita do usuário, este assistente opera em segundo plano, antecipando as necessidades do usuário sem interromper as conversas. Abordamos diversos desafios, incluindo determinar quando responder, elaborar respostas concisas que aprimorem as conversas, aproveitar o conhecimento do usuário para oferecer assistência contextualizada e realizar processamento em tempo real e no dispositivo. Para isso, construímos um conjunto de dados de diálogos semi-sintéticos e propomos um pipeline de dois modelos: um modelo menor que decide quando responder e um modelo maior que gera a resposta. Avaliamos nossa abordagem em conjuntos de dados do mundo real, demonstrando sua eficácia em fornecer assistência útil e discreta. Estudos com usuários utilizando nosso assistente, implementado em hardware Apple Silicon M2, mostram uma forte preferência pelo assistente proativo em comparação tanto com uma linha de base sem assistência quanto com um modelo reativo, destacando o potencial do LlamaPIE para aprimorar conversas ao vivo.

English

We introduce LlamaPIE, the first real-time proactive assistant designed to enhance human conversations through discreet, concise guidance delivered via hearable devices. Unlike traditional language models that require explicit user invocation, this assistant operates in the background, anticipating user needs without interrupting conversations. We address several challenges, including determining when to respond, crafting concise responses that enhance conversations, leveraging knowledge of the user for context-aware assistance, and real-time, on-device processing. To achieve this, we construct a semi-synthetic dialogue dataset and propose a two-model pipeline: a small model that decides when to respond and a larger model that generates the response. We evaluate our approach on real-world datasets, demonstrating its effectiveness in providing helpful, unobtrusive assistance. User studies with our assistant, implemented on Apple Silicon M2 hardware, show a strong preference for the proactive assistant over both a baseline with no assistance and a reactive model, highlighting the potential of LlamaPie to enhance live conversations.