AVIS: Busca Autônoma de Informação Visual com Modelos de Linguagem de Grande Escala

AVIS: Autonomous Visual Information Seeking with Large Language Models

June 13, 2023

Autores: Ziniu Hu, Ahmet Iscen, Chen Sun, Kai-Wei Chang, Yizhou Sun, David A Ross, Cordelia Schmid, Alireza Fathi

cs.AI

Resumo

Neste artigo, propomos um framework autônomo de busca de informação para resposta a perguntas visuais, denominado AVIS. Nosso método utiliza um Modelo de Linguagem de Grande Escala (LLM) para estrategizar dinamicamente o uso de ferramentas externas e investigar suas saídas, adquirindo assim o conhecimento indispensável necessário para fornecer respostas às perguntas formuladas. Responder a perguntas visuais que exigem conhecimento externo, como "Qual evento é comemorado pelo edifício retratado nesta imagem?", é uma tarefa complexa. Essa tarefa apresenta um espaço de busca combinatório que demanda uma sequência de ações, incluindo a invocação de APIs, a análise de suas respostas e a tomada de decisões informadas. Realizamos um estudo com usuários para coletar uma variedade de instâncias de tomada de decisão humana ao enfrentar essa tarefa. Esses dados são então usados para projetar um sistema composto por três componentes: um planejador alimentado por LLM que determina dinamicamente qual ferramenta usar a seguir, um raciocinador alimentado por LLM que analisa e extrai informações-chave das saídas das ferramentas, e um componente de memória de trabalho que retém as informações adquiridas ao longo do processo. O comportamento coletado dos usuários serve como guia para o nosso sistema de duas maneiras principais. Primeiro, criamos um grafo de transição analisando a sequência de decisões tomadas pelos usuários. Esse grafo delineia estados distintos e limita o conjunto de ações disponíveis em cada estado. Segundo, usamos exemplos de tomada de decisão dos usuários para fornecer ao nosso planejador e raciocinador alimentados por LLM instâncias contextuais relevantes, aprimorando sua capacidade de tomar decisões informadas. Demonstramos que o AVIS alcança resultados de ponta em benchmarks de resposta a perguntas visuais que demandam conhecimento intensivo, como Infoseek e OK-VQA.

English

In this paper, we propose an autonomous information seeking visual question answering framework, AVIS. Our method leverages a Large Language Model (LLM) to dynamically strategize the utilization of external tools and to investigate their outputs, thereby acquiring the indispensable knowledge needed to provide answers to the posed questions. Responding to visual questions that necessitate external knowledge, such as "What event is commemorated by the building depicted in this image?", is a complex task. This task presents a combinatorial search space that demands a sequence of actions, including invoking APIs, analyzing their responses, and making informed decisions. We conduct a user study to collect a variety of instances of human decision-making when faced with this task. This data is then used to design a system comprised of three components: an LLM-powered planner that dynamically determines which tool to use next, an LLM-powered reasoner that analyzes and extracts key information from the tool outputs, and a working memory component that retains the acquired information throughout the process. The collected user behavior serves as a guide for our system in two key ways. First, we create a transition graph by analyzing the sequence of decisions made by users. This graph delineates distinct states and confines the set of actions available at each state. Second, we use examples of user decision-making to provide our LLM-powered planner and reasoner with relevant contextual instances, enhancing their capacity to make informed decisions. We show that AVIS achieves state-of-the-art results on knowledge-intensive visual question answering benchmarks such as Infoseek and OK-VQA.