Основание языка в многоперспективной референтной коммуникации

Grounding Language in Multi-Perspective Referential Communication

October 4, 2024

Авторы: Zineng Tang, Lingjun Mao, Alane Suhr

cs.AI

Аннотация

Мы представляем задачу и набор данных для генерации и понимания выражений обращения в многоагентных инкорпорированных средах. В этой задаче два агента в общей сцене должны учитывать визуальную перспективу друг друга, которая может отличаться от их собственной, чтобы как производить, так и понимать ссылки на объекты в сцене и пространственные отношения между ними. Мы собрали набор данных из 2 970 человеческих выражений обращения, каждое из которых сопровождается оценками понимания человека, и оценили производительность автоматических моделей в качестве говорящих и слушающих, сопряженных с человеческими партнерами, обнаружив, что производительность модели как в генерации ссылок, так и в их понимании отстает от производительности пар человеческих агентов. Наконец, мы экспериментируем с обучением модели говорящего с открытым весом с доказательствами коммуникативного успеха при сопряжении с слушателем, что приводит к улучшению коммуникативного успеха с 58,9 до 69,3% и даже превосходит самую мощную собственную модель.

English

We introduce a task and dataset for referring expression generation and comprehension in multi-agent embodied environments. In this task, two agents in a shared scene must take into account one another's visual perspective, which may be different from their own, to both produce and understand references to objects in a scene and the spatial relations between them. We collect a dataset of 2,970 human-written referring expressions, each paired with human comprehension judgments, and evaluate the performance of automated models as speakers and listeners paired with human partners, finding that model performance in both reference generation and comprehension lags behind that of pairs of human agents. Finally, we experiment training an open-weight speaker model with evidence of communicative success when paired with a listener, resulting in an improvement from 58.9 to 69.3% in communicative success and even outperforming the strongest proprietary model.