LLAMAPIE : Assistants conversationnels proactifs intra-auriculaires

LLAMAPIE: Proactive In-Ear Conversation Assistants

May 7, 2025

Auteurs: Tuochao Chen, Nicholas Batchelder, Alisa Liu, Noah Smith, Shyamnath Gollakota

cs.AI

Résumé

Nous présentons LlamaPIE, le premier assistant proactif en temps réel conçu pour améliorer les conversations humaines grâce à des conseils discrets et concis délivrés via des dispositifs auditifs. Contrairement aux modèles de langage traditionnels qui nécessitent une invocation explicite par l'utilisateur, cet assistant fonctionne en arrière-plan, anticipant les besoins de l'utilisateur sans interrompre les conversations. Nous abordons plusieurs défis, notamment la détermination du moment opportun pour répondre, la formulation de réponses concises qui enrichissent les conversations, l'exploitation des connaissances de l'utilisateur pour une assistance contextuelle, ainsi que le traitement en temps réel et sur l'appareil. Pour y parvenir, nous construisons un ensemble de dialogues semi-synthétiques et proposons un pipeline à deux modèles : un petit modèle qui décide quand répondre et un modèle plus large qui génère la réponse. Nous évaluons notre approche sur des ensembles de données réels, démontrant son efficacité à fournir une assistance utile et non intrusive. Des études utilisateurs avec notre assistant, implémenté sur du matériel Apple Silicon M2, montrent une forte préférence pour l'assistant proactif par rapport à un scénario sans assistance et à un modèle réactif, soulignant le potentiel de LlamaPIE pour améliorer les conversations en direct.

English

We introduce LlamaPIE, the first real-time proactive assistant designed to enhance human conversations through discreet, concise guidance delivered via hearable devices. Unlike traditional language models that require explicit user invocation, this assistant operates in the background, anticipating user needs without interrupting conversations. We address several challenges, including determining when to respond, crafting concise responses that enhance conversations, leveraging knowledge of the user for context-aware assistance, and real-time, on-device processing. To achieve this, we construct a semi-synthetic dialogue dataset and propose a two-model pipeline: a small model that decides when to respond and a larger model that generates the response. We evaluate our approach on real-world datasets, demonstrating its effectiveness in providing helpful, unobtrusive assistance. User studies with our assistant, implemented on Apple Silicon M2 hardware, show a strong preference for the proactive assistant over both a baseline with no assistance and a reactive model, highlighting the potential of LlamaPie to enhance live conversations.