GENOME: Ragionamento visivo Generativo Neuro-simbolico attraverso la crescita e il riutilizzo di Moduli

GENOME: GenerativE Neuro-symbOlic visual reasoning by growing and reusing ModulEs

November 8, 2023

Autori: Zhenfang Chen, Rui Sun, Wenjun Liu, Yining Hong, Chuang Gan

cs.AI

Abstract

Recenti lavori hanno dimostrato che i Large Language Model (LLM) potrebbero potenziare i tradizionali modelli neuro-simbolici attraverso capacità di programmazione per tradurre il linguaggio in descrizioni di moduli, ottenendo così risultati robusti nel ragionamento visivo mantenendo al contempo trasparenza ed efficienza del modello. Tuttavia, questi modelli generano solitamente in modo esaustivo l'intero frammento di codice per ogni nuova istanza di un task, il che è estremamente inefficiente. Proponiamo un approccio di ragionamento visivo neuro-simbolico generativo basato sulla crescita e sul riutilizzo dei moduli. Nello specifico, il nostro modello è composto da tre fasi distinte: inizializzazione del modulo, generazione del modulo ed esecuzione del modulo. In primo luogo, dato un task di visione e linguaggio, utilizziamo gli LLM per valutare se è possibile riutilizzare e far crescere moduli esistenti per gestire questo nuovo task. In caso contrario, inizializziamo un nuovo modulo richiesto dal task e specifichiamo gli input e gli output di questo nuovo modulo. Successivamente, il nuovo modulo viene creato interrogando gli LLM per generare frammenti di codice corrispondenti che soddisfino i requisiti. Per valutare meglio le capacità del nuovo modulo, trattiamo esempi di training few-shot come casi di test per verificare se il nuovo modulo riesce a superarli. In caso affermativo, il nuovo modulo viene aggiunto alla libreria dei moduli per un futuro riutilizzo. Infine, valutiamo le prestazioni del nostro modello sul set di test eseguendo i programmi analizzati con i nuovi moduli visivi per ottenere i risultati. Riteniamo che il modello proposto presenti diversi vantaggi. In primo luogo, ottiene prestazioni competitive su task standard come il visual question answering e la comprensione delle espressioni referenziali; in secondo luogo, i moduli appresi da un task possono essere trasferiti senza soluzione di continuità a nuovi task; infine, ma non meno importante, è in grado di adattarsi a nuovi task di ragionamento visivo osservando pochi esempi di training e riutilizzando i moduli.

English

Recent works have shown that Large Language Models (LLMs) could empower traditional neuro-symbolic models via programming capabilities to translate language into module descriptions, thus achieving strong visual reasoning results while maintaining the model's transparency and efficiency. However, these models usually exhaustively generate the entire code snippet given each new instance of a task, which is extremely ineffective. We propose generative neuro-symbolic visual reasoning by growing and reusing modules. Specifically, our model consists of three unique stages, module initialization, module generation, and module execution. First, given a vision-language task, we adopt LLMs to examine whether we could reuse and grow over established modules to handle this new task. If not, we initialize a new module needed by the task and specify the inputs and outputs of this new module. After that, the new module is created by querying LLMs to generate corresponding code snippets that match the requirements. In order to get a better sense of the new module's ability, we treat few-shot training examples as test cases to see if our new module could pass these cases. If yes, the new module is added to the module library for future reuse. Finally, we evaluate the performance of our model on the testing set by executing the parsed programs with the newly made visual modules to get the results. We find the proposed model possesses several advantages. First, it performs competitively on standard tasks like visual question answering and referring expression comprehension; Second, the modules learned from one task can be seamlessly transferred to new tasks; Last but not least, it is able to adapt to new visual reasoning tasks by observing a few training examples and reusing modules.