Fundamentación del Lenguaje en la Comunicación Referencial de Múltiples Perspectivas

Grounding Language in Multi-Perspective Referential Communication

October 4, 2024

Autores: Zineng Tang, Lingjun Mao, Alane Suhr

cs.AI

Resumen

Introducimos una tarea y un conjunto de datos para la generación y comprensión de expresiones de referencia en entornos corporales multiagentes. En esta tarea, dos agentes en una escena compartida deben tener en cuenta la perspectiva visual del otro, que puede ser diferente de la suya, para tanto producir como entender referencias a objetos en una escena y las relaciones espaciales entre ellos. Recopilamos un conjunto de datos de 2,970 expresiones de referencia escritas por humanos, cada una emparejada con juicios de comprensión humana, y evaluamos el rendimiento de modelos automatizados como hablantes y oyentes emparejados con socios humanos, encontrando que el rendimiento del modelo tanto en la generación como en la comprensión de referencias está por detrás del de pares de agentes humanos. Finalmente, experimentamos entrenando un modelo de hablante de peso abierto con evidencia de éxito comunicativo cuando se empareja con un oyente, lo que resulta en una mejora del 58.9 al 69.3% en el éxito comunicativo e incluso superando al modelo propietario más fuerte.

English

We introduce a task and dataset for referring expression generation and comprehension in multi-agent embodied environments. In this task, two agents in a shared scene must take into account one another's visual perspective, which may be different from their own, to both produce and understand references to objects in a scene and the spatial relations between them. We collect a dataset of 2,970 human-written referring expressions, each paired with human comprehension judgments, and evaluate the performance of automated models as speakers and listeners paired with human partners, finding that model performance in both reference generation and comprehension lags behind that of pairs of human agents. Finally, we experiment training an open-weight speaker model with evidence of communicative success when paired with a listener, resulting in an improvement from 58.9 to 69.3% in communicative success and even outperforming the strongest proprietary model.