GENOME : Raisonnement visuel neuro-symbolique génératif par croissance et réutilisation de modules

GENOME: GenerativE Neuro-symbOlic visual reasoning by growing and reusing ModulEs

November 8, 2023

Auteurs: Zhenfang Chen, Rui Sun, Wenjun Liu, Yining Hong, Chuang Gan

cs.AI

Résumé

Les travaux récents ont démontré que les grands modèles de langage (LLMs) pourraient renforcer les modèles neuro-symboliques traditionnels grâce à des capacités de programmation permettant de traduire le langage en descriptions de modules, obtenant ainsi des résultats solides en raisonnement visuel tout en maintenant la transparence et l'efficacité du modèle. Cependant, ces modèles génèrent généralement de manière exhaustive l'intégralité du snippet de code pour chaque nouvelle instance d'une tâche, ce qui est extrêmement inefficace. Nous proposons un raisonnement visuel neuro-symbolique génératif en développant et en réutilisant des modules. Plus précisément, notre modèle se compose de trois étapes distinctes : l'initialisation des modules, la génération des modules et l'exécution des modules. Tout d'abord, étant donné une tâche vision-langage, nous utilisons des LLMs pour déterminer si nous pouvons réutiliser et étendre des modules existants pour traiter cette nouvelle tâche. Si ce n'est pas le cas, nous initialisons un nouveau module nécessaire à la tâche et spécifions les entrées et sorties de ce nouveau module. Ensuite, le nouveau module est créé en interrogeant les LLMs pour générer des snippets de code correspondant aux exigences. Afin de mieux évaluer les capacités du nouveau module, nous utilisons des exemples d'entraînement few-shot comme cas tests pour vérifier si notre nouveau module peut les réussir. Si c'est le cas, le nouveau module est ajouté à la bibliothèque de modules pour une réutilisation future. Enfin, nous évaluons la performance de notre modèle sur l'ensemble de test en exécutant les programmes analysés avec les nouveaux modules visuels pour obtenir les résultats. Nous constatons que le modèle proposé présente plusieurs avantages. Premièrement, il performe de manière compétitive sur des tâches standard comme la réponse à des questions visuelles et la compréhension d'expressions référentielles ; deuxièmement, les modules appris à partir d'une tâche peuvent être transférés de manière transparente à de nouvelles tâches ; enfin et surtout, il est capable de s'adapter à de nouvelles tâches de raisonnement visuel en observant quelques exemples d'entraînement et en réutilisant des modules.

English

Recent works have shown that Large Language Models (LLMs) could empower traditional neuro-symbolic models via programming capabilities to translate language into module descriptions, thus achieving strong visual reasoning results while maintaining the model's transparency and efficiency. However, these models usually exhaustively generate the entire code snippet given each new instance of a task, which is extremely ineffective. We propose generative neuro-symbolic visual reasoning by growing and reusing modules. Specifically, our model consists of three unique stages, module initialization, module generation, and module execution. First, given a vision-language task, we adopt LLMs to examine whether we could reuse and grow over established modules to handle this new task. If not, we initialize a new module needed by the task and specify the inputs and outputs of this new module. After that, the new module is created by querying LLMs to generate corresponding code snippets that match the requirements. In order to get a better sense of the new module's ability, we treat few-shot training examples as test cases to see if our new module could pass these cases. If yes, the new module is added to the module library for future reuse. Finally, we evaluate the performance of our model on the testing set by executing the parsed programs with the newly made visual modules to get the results. We find the proposed model possesses several advantages. First, it performs competitively on standard tasks like visual question answering and referring expression comprehension; Second, the modules learned from one task can be seamlessly transferred to new tasks; Last but not least, it is able to adapt to new visual reasoning tasks by observing a few training examples and reusing modules.