LLAMAPIE: Активные внутриушные ассистенты для ведения диалогов

LLAMAPIE: Proactive In-Ear Conversation Assistants

May 7, 2025

Авторы: Tuochao Chen, Nicholas Batchelder, Alisa Liu, Noah Smith, Shyamnath Gollakota

cs.AI

Аннотация

Мы представляем LlamaPIE — первого в мире ассистента, работающего в реальном времени и оказывающего проактивную поддержку для улучшения человеческих диалогов с помощью ненавязчивых и лаконичных подсказок, доставляемых через носимые аудиоустройства. В отличие от традиционных языковых моделей, требующих явного вызова пользователем, этот ассистент работает в фоновом режиме, предугадывая потребности пользователя, не прерывая разговора. Мы решаем несколько ключевых задач, включая определение момента для ответа, создание кратких ответов, которые улучшают диалог, использование знаний о пользователе для контекстно-зависимой помощи, а также обработку данных в реальном времени на устройстве. Для этого мы создаем полусинтетический набор данных диалогов и предлагаем двухмодельный конвейер: небольшая модель решает, когда отвечать, а более крупная модель генерирует ответ. Мы оцениваем наш подход на реальных наборах данных, демонстрируя его эффективность в предоставлении полезной и ненавязчивой помощи. Пользовательские исследования с нашим ассистентом, реализованным на аппаратной платформе Apple Silicon M2, показывают явное предпочтение проактивного ассистента по сравнению как с базовым сценарием без помощи, так и с реактивной моделью, подчеркивая потенциал LlamaPIE для улучшения живых разговоров.

English

We introduce LlamaPIE, the first real-time proactive assistant designed to enhance human conversations through discreet, concise guidance delivered via hearable devices. Unlike traditional language models that require explicit user invocation, this assistant operates in the background, anticipating user needs without interrupting conversations. We address several challenges, including determining when to respond, crafting concise responses that enhance conversations, leveraging knowledge of the user for context-aware assistance, and real-time, on-device processing. To achieve this, we construct a semi-synthetic dialogue dataset and propose a two-model pipeline: a small model that decides when to respond and a larger model that generates the response. We evaluate our approach on real-world datasets, demonstrating its effectiveness in providing helpful, unobtrusive assistance. User studies with our assistant, implemented on Apple Silicon M2 hardware, show a strong preference for the proactive assistant over both a baseline with no assistance and a reactive model, highlighting the potential of LlamaPie to enhance live conversations.