ReALM: Resolución de Referencias como Modelado del Lenguaje

ReALM: Reference Resolution As Language Modeling

March 29, 2024

Autores: Joel Ruben Antony Moniz, Soundarya Krishnan, Melis Ozyildirim, Prathamesh Saraf, Halim Cagri Ates, Yuan Zhang, Hong Yu, Nidhi Rajshree

cs.AI

Resumen

La resolución de referencias es un problema importante, esencial para comprender y manejar con éxito contextos de diversos tipos. Este contexto incluye tanto turnos previos como contextos relacionados con entidades no conversacionales, como las que aparecen en la pantalla del usuario o aquellas que se ejecutan en segundo plano. Si bien se ha demostrado que los LLM (Modelos de Lenguaje de Gran Escala) son extremadamente potentes para una variedad de tareas, su uso en la resolución de referencias, particularmente para entidades no conversacionales, sigue siendo subutilizado. Este artículo demuestra cómo los LLM pueden utilizarse para crear un sistema extremadamente efectivo para resolver referencias de diversos tipos, mostrando cómo la resolución de referencias puede convertirse en un problema de modelado del lenguaje, a pesar de involucrar formas de entidades, como las que aparecen en pantalla, que tradicionalmente no se prestan a ser reducidas a una modalidad exclusivamente textual. Demostramos mejoras significativas sobre un sistema existente con funcionalidad similar en diferentes tipos de referencias, donde nuestro modelo más pequeño obtiene ganancias absolutas de más del 5% para referencias en pantalla. También comparamos nuestro rendimiento con GPT-3.5 y GPT-4, donde nuestro modelo más pequeño alcanza un rendimiento comparable al de GPT-4, y nuestros modelos más grandes lo superan sustancialmente.

English

Reference resolution is an important problem, one that is essential to understand and successfully handle context of different kinds. This context includes both previous turns and context that pertains to non-conversational entities, such as entities on the user's screen or those running in the background. While LLMs have been shown to be extremely powerful for a variety of tasks, their use in reference resolution, particularly for non-conversational entities, remains underutilized. This paper demonstrates how LLMs can be used to create an extremely effective system to resolve references of various types, by showing how reference resolution can be converted into a language modeling problem, despite involving forms of entities like those on screen that are not traditionally conducive to being reduced to a text-only modality. We demonstrate large improvements over an existing system with similar functionality across different types of references, with our smallest model obtaining absolute gains of over 5% for on-screen references. We also benchmark against GPT-3.5 and GPT-4, with our smallest model achieving performance comparable to that of GPT-4, and our larger models substantially outperforming it.