AVIS : Recherche Autonome d'Informations Visuelles avec des Modèles de Langage à Grande Échelle

AVIS: Autonomous Visual Information Seeking with Large Language Models

June 13, 2023

Auteurs: Ziniu Hu, Ahmet Iscen, Chen Sun, Kai-Wei Chang, Yizhou Sun, David A Ross, Cordelia Schmid, Alireza Fathi

cs.AI

Résumé

Dans cet article, nous proposons un cadre autonome de recherche d'information pour la réponse à des questions visuelles, appelé AVIS. Notre méthode exploite un modèle de langage de grande taille (LLM) pour élaborer dynamiquement une stratégie d'utilisation d'outils externes et pour analyser leurs sorties, acquérant ainsi les connaissances indispensables nécessaires pour répondre aux questions posées. Répondre à des questions visuelles qui nécessitent des connaissances externes, telles que "Quel événement est commémoré par le bâtiment représenté dans cette image ?", est une tâche complexe. Cette tâche présente un espace de recherche combinatoire qui exige une séquence d'actions, incluant l'invocation d'API, l'analyse de leurs réponses et la prise de décisions éclairées. Nous menons une étude utilisateur pour recueillir diverses instances de prise de décision humaine face à cette tâche. Ces données sont ensuite utilisées pour concevoir un système composé de trois éléments : un planificateur alimenté par un LLM qui détermine dynamiquement quel outil utiliser ensuite, un raisonneur alimenté par un LLM qui analyse et extrait les informations clés des sorties des outils, et un composant de mémoire de travail qui conserve les informations acquises tout au long du processus. Le comportement utilisateur collecté guide notre système de deux manières clés. Premièrement, nous créons un graphe de transition en analysant la séquence de décisions prises par les utilisateurs. Ce graphe délimite des états distincts et restreint l'ensemble des actions disponibles à chaque état. Deuxièmement, nous utilisons des exemples de prise de décision utilisateur pour fournir à notre planificateur et raisonneur alimentés par un LLM des instances contextuelles pertinentes, améliorant ainsi leur capacité à prendre des décisions éclairées. Nous montrons qu'AVIS atteint des résultats de pointe sur des benchmarks de réponse à des questions visuelles nécessitant des connaissances approfondies, tels qu'Infoseek et OK-VQA.

English

In this paper, we propose an autonomous information seeking visual question answering framework, AVIS. Our method leverages a Large Language Model (LLM) to dynamically strategize the utilization of external tools and to investigate their outputs, thereby acquiring the indispensable knowledge needed to provide answers to the posed questions. Responding to visual questions that necessitate external knowledge, such as "What event is commemorated by the building depicted in this image?", is a complex task. This task presents a combinatorial search space that demands a sequence of actions, including invoking APIs, analyzing their responses, and making informed decisions. We conduct a user study to collect a variety of instances of human decision-making when faced with this task. This data is then used to design a system comprised of three components: an LLM-powered planner that dynamically determines which tool to use next, an LLM-powered reasoner that analyzes and extracts key information from the tool outputs, and a working memory component that retains the acquired information throughout the process. The collected user behavior serves as a guide for our system in two key ways. First, we create a transition graph by analyzing the sequence of decisions made by users. This graph delineates distinct states and confines the set of actions available at each state. Second, we use examples of user decision-making to provide our LLM-powered planner and reasoner with relevant contextual instances, enhancing their capacity to make informed decisions. We show that AVIS achieves state-of-the-art results on knowledge-intensive visual question answering benchmarks such as Infoseek and OK-VQA.