LLAMAPIE: Proactieve In-Ear Gespreksassistenten

LLAMAPIE: Proactive In-Ear Conversation Assistants

May 7, 2025

Auteurs: Tuochao Chen, Nicholas Batchelder, Alisa Liu, Noah Smith, Shyamnath Gollakota

cs.AI

Samenvatting

We introduceren LlamaPIE, de eerste real-time proactieve assistent die is ontworpen om menselijke gesprekken te verbeteren door middel van discrete, beknopte begeleiding die wordt geleverd via hoorbare apparaten. In tegenstelling tot traditionele taalmodelen die expliciete gebruikersaanroep vereisen, opereert deze assistent op de achtergrond en anticipeert hij op gebruikersbehoeften zonder gesprekken te onderbreken. We behandelen verschillende uitdagingen, waaronder het bepalen van het juiste moment om te reageren, het formuleren van beknopte reacties die gesprekken versterken, het benutten van gebruikerskennis voor contextbewuste ondersteuning, en real-time verwerking op het apparaat. Om dit te bereiken, construeren we een semi-synthetische dialoogdataset en stellen we een tweemodelpijplijn voor: een klein model dat beslist wanneer te reageren en een groter model dat de reactie genereert. We evalueren onze aanpak op real-world datasets, waarbij we de effectiviteit aantonen in het bieden van behulpzame, onopvallende ondersteuning. Gebruikersstudies met onze assistent, geïmplementeerd op Apple Silicon M2-hardware, tonen een sterke voorkeur voor de proactieve assistent ten opzichte van zowel een baseline zonder ondersteuning als een reactief model, wat het potentieel van LlamaPie benadrukt om live gesprekken te verbeteren.

English

We introduce LlamaPIE, the first real-time proactive assistant designed to enhance human conversations through discreet, concise guidance delivered via hearable devices. Unlike traditional language models that require explicit user invocation, this assistant operates in the background, anticipating user needs without interrupting conversations. We address several challenges, including determining when to respond, crafting concise responses that enhance conversations, leveraging knowledge of the user for context-aware assistance, and real-time, on-device processing. To achieve this, we construct a semi-synthetic dialogue dataset and propose a two-model pipeline: a small model that decides when to respond and a larger model that generates the response. We evaluate our approach on real-world datasets, demonstrating its effectiveness in providing helpful, unobtrusive assistance. User studies with our assistant, implemented on Apple Silicon M2 hardware, show a strong preference for the proactive assistant over both a baseline with no assistance and a reactive model, highlighting the potential of LlamaPie to enhance live conversations.