GENOME: GenerativE Neuro-symbolische visuelle Schlussfolgerung durch Wachstum und Wiederverwendung von ModulEn

GENOME: GenerativE Neuro-symbOlic visual reasoning by growing and reusing ModulEs

November 8, 2023

Autoren: Zhenfang Chen, Rui Sun, Wenjun Liu, Yining Hong, Chuang Gan

cs.AI

Zusammenfassung

Aktuelle Arbeiten haben gezeigt, dass Large Language Models (LLMs) traditionelle neuro-symbolische Modelle durch Programmierfähigkeiten unterstützen können, um Sprache in Modulbeschreibungen zu übersetzen und dadurch starke Ergebnisse im visuellen Denken zu erzielen, während die Transparenz und Effizienz des Modells erhalten bleibt. Allerdings generieren diese Modelle in der Regel den gesamten Code-Snippet für jede neue Instanz einer Aufgabe erschöpfend, was äußerst ineffizient ist. Wir schlagen ein generatives neuro-symbolisches visuelles Denken vor, das auf dem Wachsen und Wiederverwenden von Modulen basiert. Konkret besteht unser Modell aus drei einzigartigen Phasen: Modulinitialisierung, Modulgenerierung und Modulausführung. Zunächst prüfen wir bei einer Vision-Sprache-Aufgabe mithilfe von LLMs, ob wir etablierte Module wiederverwenden und erweitern können, um diese neue Aufgabe zu bewältigen. Falls nicht, initialisieren wir ein neues Modul, das für die Aufgabe benötigt wird, und spezifizieren die Ein- und Ausgaben dieses neuen Moduls. Anschließend wird das neue Modul erstellt, indem LLMs abgefragt werden, um entsprechende Code-Snippets zu generieren, die den Anforderungen entsprechen. Um die Fähigkeiten des neuen Moduls besser einschätzen zu können, behandeln wir Few-Shot-Trainingsbeispiele als Testfälle, um zu überprüfen, ob unser neues Modul diese Fälle bestehen kann. Wenn ja, wird das neue Modul zur Modulbibliothek hinzugefügt, um es zukünftig wiederverwenden zu können. Schließlich bewerten wir die Leistung unseres Modells auf dem Testset, indem wir die geparsten Programme mit den neu erstellten visuellen Modulen ausführen, um die Ergebnisse zu erhalten. Wir stellen fest, dass das vorgeschlagene Modell mehrere Vorteile bietet. Erstens schneidet es bei Standardaufgaben wie visuellen Frage-Antwort-Systemen und der Verständnis von Referenzausdrücken wettbewerbsfähig ab. Zweitens können die Module, die aus einer Aufgabe gelernt wurden, nahtlos auf neue Aufgaben übertragen werden. Und schließlich ist es in der Lage, sich durch die Beobachtung einiger Trainingsbeispiele und die Wiederverwendung von Modulen an neue visuelle Denkaufgaben anzupassen.

English

Recent works have shown that Large Language Models (LLMs) could empower traditional neuro-symbolic models via programming capabilities to translate language into module descriptions, thus achieving strong visual reasoning results while maintaining the model's transparency and efficiency. However, these models usually exhaustively generate the entire code snippet given each new instance of a task, which is extremely ineffective. We propose generative neuro-symbolic visual reasoning by growing and reusing modules. Specifically, our model consists of three unique stages, module initialization, module generation, and module execution. First, given a vision-language task, we adopt LLMs to examine whether we could reuse and grow over established modules to handle this new task. If not, we initialize a new module needed by the task and specify the inputs and outputs of this new module. After that, the new module is created by querying LLMs to generate corresponding code snippets that match the requirements. In order to get a better sense of the new module's ability, we treat few-shot training examples as test cases to see if our new module could pass these cases. If yes, the new module is added to the module library for future reuse. Finally, we evaluate the performance of our model on the testing set by executing the parsed programs with the newly made visual modules to get the results. We find the proposed model possesses several advantages. First, it performs competitively on standard tasks like visual question answering and referring expression comprehension; Second, the modules learned from one task can be seamlessly transferred to new tasks; Last but not least, it is able to adapt to new visual reasoning tasks by observing a few training examples and reusing modules.