AVIS: Ricerca Autonoma di Informazioni Visive con Modelli Linguistici di Grande Dimensione

AVIS: Autonomous Visual Information Seeking with Large Language Models

June 13, 2023

Autori: Ziniu Hu, Ahmet Iscen, Chen Sun, Kai-Wei Chang, Yizhou Sun, David A Ross, Cordelia Schmid, Alireza Fathi

cs.AI

Abstract

In questo articolo, proponiamo un framework autonomo per la ricerca di informazioni e la risposta a domande visive, denominato AVIS. Il nostro metodo sfrutta un Large Language Model (LLM) per pianificare dinamicamente l'utilizzo di strumenti esterni e per analizzarne gli output, acquisendo così le conoscenze necessarie per fornire risposte alle domande poste. Rispondere a domande visive che richiedono conoscenze esterne, come "Quale evento viene commemorato dall'edificio raffigurato in questa immagine?", è un compito complesso. Questo compito presenta uno spazio di ricerca combinatorio che richiede una sequenza di azioni, tra cui l'invocazione di API, l'analisi delle loro risposte e la presa di decisioni informate. Abbiamo condotto uno studio sugli utenti per raccogliere una varietà di esempi di decisioni umane di fronte a questo compito. Questi dati sono stati poi utilizzati per progettare un sistema composto da tre componenti: un pianificatore basato su LLM che determina dinamicamente quale strumento utilizzare successivamente, un ragionatore basato su LLM che analizza ed estrae informazioni chiave dagli output degli strumenti, e un componente di memoria di lavoro che conserva le informazioni acquisite durante il processo. Il comportamento degli utenti raccolto serve come guida per il nostro sistema in due modi chiave. In primo luogo, creiamo un grafo di transizione analizzando la sequenza di decisioni prese dagli utenti. Questo grafo delinea stati distinti e limita l'insieme di azioni disponibili in ciascuno stato. In secondo luogo, utilizziamo esempi di decisioni degli utenti per fornire al nostro pianificatore e ragionatore basati su LLM istanze contestuali rilevanti, migliorando la loro capacità di prendere decisioni informate. Dimostriamo che AVIS raggiunge risultati all'avanguardia su benchmark di risposta a domande visive ad alta intensità di conoscenza, come Infoseek e OK-VQA.

English

In this paper, we propose an autonomous information seeking visual question answering framework, AVIS. Our method leverages a Large Language Model (LLM) to dynamically strategize the utilization of external tools and to investigate their outputs, thereby acquiring the indispensable knowledge needed to provide answers to the posed questions. Responding to visual questions that necessitate external knowledge, such as "What event is commemorated by the building depicted in this image?", is a complex task. This task presents a combinatorial search space that demands a sequence of actions, including invoking APIs, analyzing their responses, and making informed decisions. We conduct a user study to collect a variety of instances of human decision-making when faced with this task. This data is then used to design a system comprised of three components: an LLM-powered planner that dynamically determines which tool to use next, an LLM-powered reasoner that analyzes and extracts key information from the tool outputs, and a working memory component that retains the acquired information throughout the process. The collected user behavior serves as a guide for our system in two key ways. First, we create a transition graph by analyzing the sequence of decisions made by users. This graph delineates distinct states and confines the set of actions available at each state. Second, we use examples of user decision-making to provide our LLM-powered planner and reasoner with relevant contextual instances, enhancing their capacity to make informed decisions. We show that AVIS achieves state-of-the-art results on knowledge-intensive visual question answering benchmarks such as Infoseek and OK-VQA.