LLAMAPIE: プロアクティブなイヤー会話アシスタント

LLAMAPIE: Proactive In-Ear Conversation Assistants

May 7, 2025

著者: Tuochao Chen, Nicholas Batchelder, Alisa Liu, Noah Smith, Shyamnath Gollakota

cs.AI

要旨

LlamaPIEを紹介する。これは、ヒアラブルデバイスを通じて控えめかつ簡潔なガイダンスを提供し、人間の会話を向上させる初のリアルタイムプロアクティブアシスタントである。従来の言語モデルとは異なり、明示的なユーザーの呼び出しを必要とせず、会話を中断することなくユーザーのニーズを予測してバックグラウンドで動作する。本アシスタントは、いつ応答するかを決定すること、会話を向上させる簡潔な応答を作成すること、ユーザーの知識を活用して文脈を考慮した支援を行うこと、そしてリアルタイムのオンデバイス処理といったいくつかの課題に対処する。これを実現するため、半合成の対話データセットを構築し、応答のタイミングを決定する小型モデルと、応答を生成する大型モデルからなる二段階のパイプラインを提案する。実世界のデータセットを用いて本手法を評価し、有用で邪魔にならない支援を提供する効果を実証する。Apple Silicon M2ハードウェア上に実装した本アシスタントを用いたユーザー調査では、支援なしのベースラインやリアクティブモデルと比較して、プロアクティブアシスタントに対する強い選好が示され、LlamaPIEがライブ会話を向上させる可能性が強調された。

English

We introduce LlamaPIE, the first real-time proactive assistant designed to enhance human conversations through discreet, concise guidance delivered via hearable devices. Unlike traditional language models that require explicit user invocation, this assistant operates in the background, anticipating user needs without interrupting conversations. We address several challenges, including determining when to respond, crafting concise responses that enhance conversations, leveraging knowledge of the user for context-aware assistance, and real-time, on-device processing. To achieve this, we construct a semi-synthetic dialogue dataset and propose a two-model pipeline: a small model that decides when to respond and a larger model that generates the response. We evaluate our approach on real-world datasets, demonstrating its effectiveness in providing helpful, unobtrusive assistance. User studies with our assistant, implemented on Apple Silicon M2 hardware, show a strong preference for the proactive assistant over both a baseline with no assistance and a reactive model, highlighting the potential of LlamaPie to enhance live conversations.