LLAMAPIE: Asistentes de Conversación Proactivos Intrauriculares

LLAMAPIE: Proactive In-Ear Conversation Assistants

May 7, 2025

Autores: Tuochao Chen, Nicholas Batchelder, Alisa Liu, Noah Smith, Shyamnath Gollakota

cs.AI

Resumen

Presentamos LlamaPIE, el primer asistente proactivo en tiempo real diseñado para mejorar las conversaciones humanas mediante orientación discreta y concisa entregada a través de dispositivos audibles. A diferencia de los modelos de lenguaje tradicionales que requieren una invocación explícita por parte del usuario, este asistente opera en segundo plano, anticipando las necesidades del usuario sin interrumpir las conversaciones. Abordamos varios desafíos, incluyendo determinar cuándo responder, elaborar respuestas concisas que enriquezcan las conversaciones, aprovechar el conocimiento del usuario para brindar asistencia contextualizada y realizar procesamiento en tiempo real y en el dispositivo. Para lograrlo, construimos un conjunto de datos de diálogos semi-sintéticos y proponemos una canalización de dos modelos: un modelo pequeño que decide cuándo responder y un modelo más grande que genera la respuesta. Evaluamos nuestro enfoque en conjuntos de datos del mundo real, demostrando su eficacia para proporcionar asistencia útil y discreta. Estudios de usuarios con nuestro asistente, implementado en hardware Apple Silicon M2, muestran una fuerte preferencia por el asistente proactivo en comparación con una línea base sin asistencia y un modelo reactivo, destacando el potencial de LlamaPIE para mejorar las conversaciones en vivo.

English

We introduce LlamaPIE, the first real-time proactive assistant designed to enhance human conversations through discreet, concise guidance delivered via hearable devices. Unlike traditional language models that require explicit user invocation, this assistant operates in the background, anticipating user needs without interrupting conversations. We address several challenges, including determining when to respond, crafting concise responses that enhance conversations, leveraging knowledge of the user for context-aware assistance, and real-time, on-device processing. To achieve this, we construct a semi-synthetic dialogue dataset and propose a two-model pipeline: a small model that decides when to respond and a larger model that generates the response. We evaluate our approach on real-world datasets, demonstrating its effectiveness in providing helpful, unobtrusive assistance. User studies with our assistant, implemented on Apple Silicon M2 hardware, show a strong preference for the proactive assistant over both a baseline with no assistance and a reactive model, highlighting the potential of LlamaPie to enhance live conversations.