AVIS: Autonome visuelle Informationssuche mit großen Sprachmodellen

Zusammenfassung

In diesem Artikel stellen wir ein autonomes, informationssuchendes Framework für visuelle Fragebeantwortung vor, AVIS. Unsere Methode nutzt ein großes Sprachmodell (LLM), um die Nutzung externer Tools dynamisch zu strategisieren und deren Ausgaben zu untersuchen, wodurch das notwendige Wissen erworben wird, um Antworten auf die gestellten Fragen zu liefern. Die Beantwortung von visuellen Fragen, die externes Wissen erfordern, wie z.B. „Welches Ereignis wird durch das in diesem Bild dargestellte Gebäude gedacht?“, ist eine komplexe Aufgabe. Diese Aufgabe präsentiert einen kombinatorischen Suchraum, der eine Abfolge von Aktionen erfordert, einschließlich des Aufrufs von APIs, der Analyse ihrer Antworten und der Treffen fundierter Entscheidungen. Wir führen eine Nutzerstudie durch, um verschiedene Beispiele menschlicher Entscheidungsfindung bei dieser Aufgabe zu sammeln. Diese Daten werden dann verwendet, um ein System zu entwerfen, das aus drei Komponenten besteht: ein LLM-gestützter Planer, der dynamisch bestimmt, welches Tool als nächstes verwendet werden soll, ein LLM-gestützter Denker, der die Ausgaben der Tools analysiert und Schlüsselinformationen extrahiert, und eine Arbeitsgedächtnis-Komponente, die die erworbenen Informationen während des gesamten Prozesses speichert. Das gesammelte Nutzerverhalten dient unserem System auf zwei wesentliche Arten als Leitfaden. Erstens erstellen wir einen Übergangsgraphen, indem wir die Abfolge der von den Nutzern getroffenen Entscheidungen analysieren. Dieser Graph beschreibt unterschiedliche Zustände und begrenzt die Menge der in jedem Zustand verfügbaren Aktionen. Zweitens verwenden wir Beispiele der Nutzerentscheidungsfindung, um unserem LLM-gestützten Planer und Denker relevante kontextuelle Instanzen zur Verfügung zu stellen, wodurch ihre Fähigkeit, fundierte Entscheidungen zu treffen, verbessert wird. Wir zeigen, dass AVIS state-of-the-art Ergebnisse auf wissensintensiven Benchmarks für visuelle Fragebeantwortung wie Infoseek und OK-VQA erzielt.

English

In this paper, we propose an autonomous information seeking visual question answering framework, AVIS. Our method leverages a Large Language Model (LLM) to dynamically strategize the utilization of external tools and to investigate their outputs, thereby acquiring the indispensable knowledge needed to provide answers to the posed questions. Responding to visual questions that necessitate external knowledge, such as "What event is commemorated by the building depicted in this image?", is a complex task. This task presents a combinatorial search space that demands a sequence of actions, including invoking APIs, analyzing their responses, and making informed decisions. We conduct a user study to collect a variety of instances of human decision-making when faced with this task. This data is then used to design a system comprised of three components: an LLM-powered planner that dynamically determines which tool to use next, an LLM-powered reasoner that analyzes and extracts key information from the tool outputs, and a working memory component that retains the acquired information throughout the process. The collected user behavior serves as a guide for our system in two key ways. First, we create a transition graph by analyzing the sequence of decisions made by users. This graph delineates distinct states and confines the set of actions available at each state. Second, we use examples of user decision-making to provide our LLM-powered planner and reasoner with relevant contextual instances, enhancing their capacity to make informed decisions. We show that AVIS achieves state-of-the-art results on knowledge-intensive visual question answering benchmarks such as Infoseek and OK-VQA.

AVIS: Autonome visuelle Informationssuche mit großen Sprachmodellen

AVIS: Autonomous Visual Information Seeking with Large Language Models

Zusammenfassung

Support