Articoli di ricerca IA selezionati quotidianamente con traduzioni
I metodi basati sui Campi di Radianza hanno recentemente rivoluzionato la sintesi di nuove visualizzazioni per scene catturate con più foto o video. Tuttavia, ottenere un'elevata qualità visiva richiede ancora reti neurali costose da addestrare e renderizzare, mentre i metodi più recenti e veloci inevitabilmente sacrificano la qualità per la velocità. Per scene illimitate e complete (anziché oggetti isolati) e rendering a risoluzione 1080p, nessun metodo attuale può raggiungere velocità di visualizzazione in tempo reale. Introduciamo tre elementi chiave che ci permettono di ottenere una qualità visiva all'avanguardia mantenendo tempi di addestramento competitivi e, soprattutto, consentono una sintesi di nuove visualizzazioni in tempo reale (>= 30 fps) ad alta qualità a risoluzione 1080p. In primo luogo, partendo da punti sparsi prodotti durante la calibrazione della fotocamera, rappresentiamo la scena con Gaussiane 3D che preservano le proprietà desiderabili dei campi di radianza volumetrici continui per l'ottimizzazione della scena, evitando calcoli non necessari nello spazio vuoto; in secondo luogo, eseguiamo un'ottimizzazione/controllo della densità intervallato delle Gaussiane 3D, ottimizzando in particolare la covarianza anisotropa per ottenere una rappresentazione accurata della scena; in terzo luogo, sviluppiamo un algoritmo di rendering veloce e consapevole della visibilità che supporta lo splatting anisotropo e accelera sia l'addestramento che permette il rendering in tempo reale. Dimostriamo una qualità visiva all'avanguardia e un rendering in tempo reale su diversi dataset consolidati.
La sottomissione è un comportamento indesiderato in cui i modelli adattano le loro risposte per seguire il punto di vista di un utente umano, anche quando tale punto di vista non è oggettivamente corretto (ad esempio, adottando opinioni liberali una volta che un utente rivela di essere liberale). In questo articolo, studiamo la prevalenza della sottomissione nei modelli linguistici e proponiamo un semplice intervento basato su dati sintetici per ridurre questo comportamento. In primo luogo, su un insieme di tre compiti di sottomissione (Perez et al., 2022) in cui ai modelli viene chiesta un'opinione su affermazioni senza risposte corrette (ad esempio, politica), osserviamo che sia il ridimensionamento del modello che l'ottimizzazione delle istruzioni aumentano significativamente la sottomissione per i modelli PaLM fino a 540 miliardi di parametri. In secondo luogo, estendiamo le valutazioni della sottomissione a semplici affermazioni di addizione che sono oggettivamente errate, scoprendo che, nonostante sappiano che queste affermazioni sono sbagliate, i modelli linguistici continueranno a concordare con esse se l'utente lo fa. Per ridurre la sottomissione, presentiamo un intervento diretto basato su dati sintetici che utilizza compiti pubblici di NLP e incoraggia i modelli a essere robusti rispetto alle opinioni degli utenti su questi compiti. L'aggiunta di questi dati in un passaggio di ottimizzazione leggera può ridurre significativamente il comportamento sottomesso su prompt non visti. Il codice per generare dati sintetici per l'intervento è disponibile all'indirizzo https://github.com/google/sycophancy-intervention.
Avviso: questo articolo contiene contenuti che potrebbero essere inappropriati o offensivi. Con l'ampia disponibilità di modelli generativi per uso pubblico in varie applicazioni, testare e analizzare le vulnerabilità di questi modelli è diventata una priorità. Qui proponiamo un framework automatico di red teaming che valuta un determinato modello e ne espone le vulnerabilità rispetto alla generazione di contenuti non sicuri e inappropriati. Il nostro framework utilizza l'apprendimento in contesto in un ciclo di feedback per eseguire red teaming sui modelli e indurli a generare contenuti non sicuri. Proponiamo diverse strategie di attacco in contesto per apprendere automaticamente prompt avversari efficaci e diversificati per modelli di testo-immagine. I nostri esperimenti dimostrano che, rispetto agli approcci baseline, la nostra strategia proposta è significativamente più efficace nell'esporre le vulnerabilità del modello Stable Diffusion (SD), anche quando quest'ultimo è potenziato con funzionalità di sicurezza. Inoltre, dimostriamo che il framework proposto è efficace per il red teaming di modelli di testo-testo, ottenendo un tasso di generazione di risposte tossiche significativamente più alto rispetto ai numeri riportati in precedenza.
I modelli di pre-addestramento su larga scala per la visione e il linguaggio, come CLIP, hanno dimostrato prestazioni eccezionali nella classificazione zero-shot, raggiungendo ad esempio un'accuratezza top-1 del 76,3% su ImageNet senza aver visto alcun esempio, il che apre potenziali benefici per molti compiti privi di dati etichettati. Tuttavia, quando si applica CLIP a un dominio target downstream, la presenza di divari tra i domini visivi e testuali e il disallineamento cross-modale possono influenzare significativamente le prestazioni del modello. Per affrontare queste sfide, proponiamo ReCLIP, il primo metodo di adattamento al dominio senza dati sorgente per modelli visione-linguaggio, che non richiede dati sorgente né dati target etichettati. ReCLIP apprende inizialmente uno spazio di proiezione per mitigare l'incongruenza degli embedding visivo-testuali e genera etichette pseudo, per poi applicare un auto-addestramento cross-modale con queste etichette pseudo, aggiornando gli encoder visivi e testuali, affinando le etichette e riducendo iterativamente i divari di dominio e i disallineamenti. Attraverso esperimenti estensivi, dimostriamo che ReCLIP riduce il tasso di errore medio di CLIP dal 30,17% al 25,06% su 22 benchmark di classificazione di immagini.
La legalità dell'addestramento di modelli linguistici (LM) su dati protetti da copyright o altrimenti soggetti a restrizioni è oggetto di intenso dibattito. Tuttavia, come dimostriamo, le prestazioni del modello si degradano significativamente se addestrato solo su testi a basso rischio (ad esempio, libri fuori copyright o documenti governativi), a causa delle dimensioni limitate e della copertura di dominio ridotta. Presentiamo SILO, un nuovo modello linguistico che gestisce questo compromesso tra rischio e prestazioni durante l'inferenza. SILO è costruito (1) addestrando un LM parametrico sull'Open License Corpus (OLC), un nuovo corpus da noi curato con 228 miliardi di token di testo di pubblico dominio e con licenza permissiva, e (2) arricchendolo con un archivio dati non parametrico più generale e facilmente modificabile (ad esempio, contenente libri protetti da copyright o notizie) che viene consultato solo durante l'inferenza. L'archivio dati consente l'uso di dati ad alto rischio senza addestrarvi il modello, supporta l'attribuzione dei dati a livello di frase e permette ai produttori di dati di escludersi dal modello rimuovendo i contenuti dall'archivio. Queste capacità possono favorire la conformità alle normative sull'uso dei dati, come la dottrina del fair use negli Stati Uniti e il GDPR nell'Unione Europea. I nostri esperimenti mostrano che il LM parametrico ha difficoltà nei domini non coperti da OLC. Tuttavia, l'accesso all'archivio dati migliora notevolmente le prestazioni fuori dominio, colmando il 90% del divario prestazionale rispetto a un LM addestrato su The Pile, un corpus più diversificato con testi prevalentemente ad alto rischio. Analizziamo anche quale approccio non parametrico funziona meglio, dove si trovano gli errori rimanenti e come le prestazioni scalano con le dimensioni dell'archivio dati. I nostri risultati suggeriscono che è possibile costruire modelli linguistici di alta qualità mitigandone il rischio legale.