ReALM: Referenzauflösung durch Sprachmodellierung

ReALM: Reference Resolution As Language Modeling

March 29, 2024

Autoren: Joel Ruben Antony Moniz, Soundarya Krishnan, Melis Ozyildirim, Prathamesh Saraf, Halim Cagri Ates, Yuan Zhang, Hong Yu, Nidhi Rajshree

cs.AI

Zusammenfassung

Die Referenzauflösung ist ein wichtiges Problem, das entscheidend ist, um den Kontext unterschiedlicher Art zu verstehen und erfolgreich zu handhaben. Dieser Kontext umfasst sowohl vorherige Äußerungen als auch Kontext, der sich auf nicht-konversationelle Entitäten bezieht, wie Entitäten auf dem Bildschirm des Benutzers oder solche, die im Hintergrund ausgeführt werden. Obwohl LLMs sich als äußerst leistungsfähig für eine Vielzahl von Aufgaben erwiesen haben, bleibt ihr Einsatz bei der Referenzauflösung, insbesondere für nicht-konversationelle Entitäten, untergenutzt. Diese Arbeit zeigt, wie LLMs verwendet werden können, um ein äußerst effektives System zur Auflösung von Referenzen verschiedener Arten zu erstellen, indem gezeigt wird, wie die Referenzauflösung in ein Sprachmodellierungsproblem umgewandelt werden kann, obwohl sie Formen von Entitäten beinhaltet, wie die auf dem Bildschirm, die traditionell nicht darauf ausgelegt sind, auf eine rein textbasierte Modalität reduziert zu werden. Wir zeigen signifikante Verbesserungen gegenüber einem bestehenden System mit ähnlicher Funktionalität bei verschiedenen Arten von Referenzen auf, wobei unser kleinstes Modell absolute Gewinne von über 5% für Bildschirmreferenzen erzielt. Wir führen auch einen Benchmark gegen GPT-3.5 und GPT-4 durch, wobei unser kleinstes Modell eine Leistung erzielt, die mit der von GPT-4 vergleichbar ist, und unsere größeren Modelle es deutlich übertreffen.

English

Reference resolution is an important problem, one that is essential to understand and successfully handle context of different kinds. This context includes both previous turns and context that pertains to non-conversational entities, such as entities on the user's screen or those running in the background. While LLMs have been shown to be extremely powerful for a variety of tasks, their use in reference resolution, particularly for non-conversational entities, remains underutilized. This paper demonstrates how LLMs can be used to create an extremely effective system to resolve references of various types, by showing how reference resolution can be converted into a language modeling problem, despite involving forms of entities like those on screen that are not traditionally conducive to being reduced to a text-only modality. We demonstrate large improvements over an existing system with similar functionality across different types of references, with our smallest model obtaining absolute gains of over 5% for on-screen references. We also benchmark against GPT-3.5 and GPT-4, with our smallest model achieving performance comparable to that of GPT-4, and our larger models substantially outperforming it.