Metamorfosi Neurale

Abstract

Questo articolo introduce un nuovo paradigma di apprendimento denominato Metamorfosi Neurale (NeuMeta), che mira a costruire reti neurali auto-mutabili. Contrariamente alla creazione di modelli separati per diverse architetture o dimensioni, NeuMeta apprende direttamente il continuo spazio dei pesi delle reti neurali. Una volta addestrato, possiamo campionare i pesi per reti di qualsiasi dimensione direttamente dallo spazio, anche per configurazioni precedentemente non viste, senza dover riallenare. Per raggiungere questo ambizioso obiettivo, NeuMeta addestra funzioni neurali implicite come iperreti. Queste accettano coordinate nello spazio del modello come input e generano valori di peso corrispondenti nello spazio. In altre parole, la funzione implicita è appresa in modo che i pesi predetti siano ben eseguiti attraverso varie dimensioni dei modelli. Nell'addestramento di questi modelli, notiamo che le prestazioni finali sono strettamente legate alla regolarità dello spazio appreso. Nella ricerca di migliorare questa regolarità, adottiamo due strategie. In primo luogo, permutiamo le matrici di peso per ottenere regolarità intra-modello, risolvendo il problema del Percorso Hamiltoniano più breve. Inoltre, aggiungiamo un rumore alle coordinate di input durante l'addestramento della funzione implicita, garantendo che i modelli con varie dimensioni mostrino output coerenti. In tal modo, NeuMeta mostra risultati promettenti nella sintesi dei parametri per varie configurazioni di rete. I nostri ampi test nella classificazione delle immagini, nella segmentazione semantica e nella generazione di immagini rivelano che NeuMeta mantiene prestazioni a dimensioni complete anche con un tasso di compressione del 75%.

English

This paper introduces a new learning paradigm termed Neural Metamorphosis (NeuMeta), which aims to build self-morphable neural networks. Contrary to crafting separate models for different architectures or sizes, NeuMeta directly learns the continuous weight manifold of neural networks. Once trained, we can sample weights for any-sized network directly from the manifold, even for previously unseen configurations, without retraining. To achieve this ambitious goal, NeuMeta trains neural implicit functions as hypernetworks. They accept coordinates within the model space as input, and generate corresponding weight values on the manifold. In other words, the implicit function is learned in a way, that the predicted weights is well-performed across various models sizes. In training those models, we notice that, the final performance closely relates on smoothness of the learned manifold. In pursuit of enhancing this smoothness, we employ two strategies. First, we permute weight matrices to achieve intra-model smoothness, by solving the Shortest Hamiltonian Path problem. Besides, we add a noise on the input coordinates when training the implicit function, ensuring models with various sizes shows consistent outputs. As such, NeuMeta shows promising results in synthesizing parameters for various network configurations. Our extensive tests in image classification, semantic segmentation, and image generation reveal that NeuMeta sustains full-size performance even at a 75% compression rate.