Articoli di ricerca IA selezionati quotidianamente con traduzioni
In questo rapporto presentiamo l'ultimo modello della famiglia Gemini, Gemini 1.5 Pro, un modello multimodale mixture-of-experts altamente efficiente dal punto di vista computazionale, in grado di richiamare e ragionare su informazioni dettagliate provenienti da milioni di token di contesto, inclusi documenti lunghi e ore di video e audio. Gemini 1.5 Pro raggiunge un richiamo quasi perfetto in compiti di recupero a lungo contesto attraverso diverse modalità, migliora lo stato dell'arte nel QA su documenti lunghi, QA su video lunghi e ASR a lungo contesto, eguaglia o supera le prestazioni all'avanguardia di Gemini 1.0 Ultra su un ampio set di benchmark. Studiando i limiti della capacità di lungo contesto di Gemini 1.5 Pro, osserviamo un miglioramento continuo nella previsione del token successivo e un richiamo quasi perfetto (>99%) fino ad almeno 10 milioni di token, un salto generazionale rispetto ai modelli esistenti come Claude 2.1 (200k) e GPT-4 Turbo (128k). Infine, evidenziamo nuove sorprendenti capacità dei modelli linguistici di grandi dimensioni all'avanguardia; quando viene fornito un manuale di grammatica per il Kalamang, una lingua parlata da meno di 200 persone in tutto il mondo, il modello impara a tradurre dall'inglese al Kalamang a un livello simile a quello di una persona che ha appreso dagli stessi contenuti.
Presentiamo DeepSeek-VL, un modello Vision-Language (VL) open-source progettato per applicazioni reali di comprensione visiva e linguistica. Il nostro approccio si struttura attorno a tre dimensioni chiave: Ci impegniamo a garantire che i nostri dati siano diversificati, scalabili e coprano ampiamente scenari reali, inclusi screenshot web, PDF, OCR, grafici e contenuti basati su conoscenza, mirando a una rappresentazione completa di contesti pratici. Inoltre, creiamo una tassonomia dei casi d'uso basata su scenari reali degli utenti e costruiamo un dataset di instruction tuning di conseguenza. Il fine-tuning con questo dataset migliora significativamente l'esperienza utente del modello nelle applicazioni pratiche. Considerando l'efficienza e le esigenze della maggior parte degli scenari reali, DeepSeek-VL incorpora un encoder visivo ibrido che elabora in modo efficiente immagini ad alta risoluzione (1024 x 1024), mantenendo un overhead computazionale relativamente basso. Questa scelta progettuale garantisce la capacità del modello di catturare informazioni semantiche critiche e dettagliate in vari compiti visivi. Sosteniamo che un modello Vision-Language competente debba, innanzitutto, possedere forti capacità linguistiche. Per garantire la preservazione delle capacità LLM durante il pretraining, investigiamo una strategia efficace di pretraining VL integrando l'addestramento LLM fin dall'inizio e gestendo attentamente le dinamiche competitive osservate tra le modalità visiva e linguistica. La famiglia DeepSeek-VL (sia i modelli da 1.3B che da 7B) dimostra esperienze utente superiori come chatbot vision-language in applicazioni reali, raggiungendo prestazioni all'avanguardia o competitive su un'ampia gamma di benchmark visivo-linguistici per la stessa dimensione del modello, mantenendo al contempo prestazioni robuste su benchmark centrati sul linguaggio. Abbiamo reso pubblicamente accessibili sia i modelli da 1.3B che da 7B per favorire innovazioni basate su questo modello di base.
I modelli di diffusione hanno dimostrato prestazioni notevoli nel dominio della generazione di immagini da testo. Tuttavia, la maggior parte dei modelli ampiamente utilizzati impiega ancora CLIP come codificatore di testo, il che limita la loro capacità di comprendere prompt densi, che includono più oggetti, attributi dettagliati, relazioni complesse, allineamento di testi lunghi, ecc. In questo articolo, introduciamo un adattatore efficiente per modelli linguistici di grandi dimensioni, denominato ELLA, che equipaggia i modelli di diffusione per la generazione di immagini da testo con potenti modelli linguistici di grandi dimensioni (LLM) per migliorare l'allineamento del testo senza addestrare né la U-Net né l'LLM. Per collegare in modo fluido due modelli pre-addestrati, esploriamo una gamma di progetti di connettori di allineamento semantico e proponiamo un modulo innovativo, il Connettore Semantico Consapevole del Timestep (TSC), che estrae dinamicamente condizioni dipendenti dal timestep dall'LLM. Il nostro approccio adatta le caratteristiche semantiche in diverse fasi del processo di denoising, assistendo i modelli di diffusione nell'interpretazione di prompt lunghi e complessi durante i timestep di campionamento. Inoltre, ELLA può essere facilmente integrato con modelli e strumenti della comunità per migliorare le loro capacità di seguire i prompt. Per valutare i modelli di generazione di immagini da testo nel seguire prompt densi, introduciamo il benchmark Dense Prompt Graph Benchmark (DPG-Bench), un benchmark impegnativo composto da 1K prompt densi. Esperimenti estensivi dimostrano la superiorità di ELLA nel seguire prompt densi rispetto ai metodi all'avanguardia, in particolare nelle composizioni di più oggetti che coinvolgono attributi e relazioni diversificati.
Nel panorama digitale in continua evoluzione dell'audio, Spotify, noto per i suoi contenuti musicali e di intrattenimento, ha recentemente introdotto gli audiolibri alla sua vasta base di utenti. Sebbene promettente, questa mossa presenta sfide significative per le raccomandazioni personalizzate. A differenza della musica e dei podcast, gli audiolibri, inizialmente disponibili a pagamento, non possono essere facilmente sfogliati prima dell'acquisto, ponendo una maggiore importanza sulla pertinenza delle raccomandazioni. Inoltre, l'introduzione di un nuovo tipo di contenuto in una piattaforma esistente si scontra con un'estrema scarsità di dati, poiché la maggior parte degli utenti non ha familiarità con questo nuovo formato. Infine, raccomandare contenuti a milioni di utenti richiede che il modello reagisca rapidamente e sia scalabile. Per affrontare queste sfide, sfruttiamo le preferenze degli utenti per podcast e musica e introduciamo 2T-HGNN, un sistema di raccomandazione scalabile composto da Reti Neurali su Grafi Eterogenei (HGNN) e un modello Two Tower (2T). Questo approccio innovativo scopre relazioni sfumate tra gli elementi garantendo al contempo bassa latenza e complessità. Separiamo gli utenti dal grafo HGNN e proponiamo un innovativo campionatore di vicini multi-link. Queste scelte, insieme al componente 2T, riducono significativamente la complessità del modello HGNN. Valutazioni empiriche che coinvolgono milioni di utenti mostrano un miglioramento significativo nella qualità delle raccomandazioni personalizzate, con un aumento del +46% nel tasso di inizio di nuovi audiolibri e un incremento del +23% nei tassi di streaming. Curiosamente, l'impatto del nostro modello si estende oltre gli audiolibri, beneficiando prodotti consolidati come i podcast.
I recenti progressi nei sistemi generativi testo-immagine sono stati in gran parte guidati dai modelli di diffusione. Tuttavia, i modelli di diffusione testo-immagine a stadio singolo continuano a presentare sfide, in termini di efficienza computazionale e di perfezionamento dei dettagli dell'immagine. Per affrontare il problema, proponiamo CogView3, un innovativo framework a cascata che migliora le prestazioni della diffusione testo-immagine. CogView3 è il primo modello a implementare la diffusione a relè nel campo della generazione testo-immagine, eseguendo il compito creando prima immagini a bassa risoluzione e applicando successivamente una super-risoluzione basata su relè. Questa metodologia non solo produce risultati competitivi nella generazione testo-immagine, ma riduce notevolmente sia i costi di addestramento che di inferenza. I nostri risultati sperimentali dimostrano che CogView3 supera SDXL, l'attuale modello open-source all'avanguardia per la diffusione testo-immagine, del 77,0% nelle valutazioni umane, richiedendo solo circa la metà del tempo di inferenza. La variante distillata di CogView3 raggiunge prestazioni comparabili utilizzando solo 1/10 del tempo di inferenza richiesto da SDXL.
I modelli generativi feed-forward 3D come il Large Reconstruction Model (LRM) hanno dimostrato una velocità di generazione eccezionale. Tuttavia, i metodi basati su transformer non sfruttano i prior geometrici del componente triplane nella loro architettura, portando spesso a una qualità subottimale a causa delle dimensioni limitate dei dati 3D e dell'addestramento lento. In questo lavoro, presentiamo il Convolutional Reconstruction Model (CRM), un modello generativo feed-forward single image-to-3D ad alta fedeltà. Riconoscendo i limiti imposti dai dati 3D sparsi, evidenziamo la necessità di integrare i prior geometrici nella progettazione della rete. CRM si basa sull'osservazione chiave che la visualizzazione del triplane mostra una corrispondenza spaziale di sei immagini ortografiche. Innanzitutto, genera sei immagini in vista ortografica da una singola immagine di input, quindi alimenta queste immagini in una U-Net convoluzionale, sfruttando le sue forti capacità di allineamento a livello di pixel e una significativa larghezza di banda per creare un triplane ad alta risoluzione. CRM utilizza inoltre Flexicubes come rappresentazione geometrica, facilitando un'ottimizzazione diretta end-to-end su mesh texturizzate. Nel complesso, il nostro modello produce una mesh texturizzata ad alta fedeltà da un'immagine in soli 10 secondi, senza alcuna ottimizzazione al momento del test.
I modelli di diffusione testo-immagine (T2I) hanno dimostrato capacità senza precedenti nella creazione di immagini realistiche ed esteticamente gradevoli. Al contrario, i modelli di diffusione testo-video (T2V) sono ancora molto indietro in termini di qualità dei fotogrammi e allineamento con il testo, a causa della qualità e quantità insufficienti dei video di addestramento. In questo articolo, introduciamo VideoElevator, un metodo plug-and-play e senza necessità di addestramento, che migliora le prestazioni dei T2V sfruttando le capacità superiori dei T2I. A differenza del campionamento convenzionale dei T2V (cioè, modellazione temporale e spaziale), VideoElevator scompone esplicitamente ogni passo di campionamento in raffinamento del movimento temporale e elevazione della qualità spaziale. Nello specifico, il raffinamento del movimento temporale utilizza un T2V incapsulato per migliorare la coerenza temporale, seguito da un'inversione alla distribuzione di rumore richiesta dal T2I. Successivamente, l'elevazione della qualità spaziale sfrutta un T2I espanso per prevedere direttamente un latente meno rumoroso, aggiungendo dettagli più fotorealistici. Abbiamo condotto esperimenti su un'ampia gamma di prompt combinando vari T2V e T2I. I risultati mostrano che VideoElevator non solo migliora le prestazioni delle baseline T2V con T2I di base, ma facilita anche la sintesi di video stilistici con T2I personalizzati. Il nostro codice è disponibile all'indirizzo https://github.com/YBYBZhang/VideoElevator.