Paper Giornalieri

I benchmark sono strumenti importanti per tracciare i rapidi progressi nelle capacità dei grandi modelli linguistici (LLM). Tuttavia, i benchmark non stanno mantenendo il passo in termini di difficoltà: attualmente i LLM raggiungono oltre il 90\% di accuratezza su benchmark popolari come MMLU, limitando la misurazione informata delle capacità dei LLM all'avanguardia. In risposta, presentiamo Humanity's Last Exam (HLE), un benchmark multimodale al confine della conoscenza umana, progettato per essere l'ultimo benchmark accademico chiuso del suo genere con una vasta copertura di argomenti. HLE è composto da 3.000 domande su dozzine di materie, tra cui matematica, discipline umanistiche e scienze naturali. HLE è sviluppato a livello globale da esperti del settore ed è costituito da domande a scelta multipla e a risposta breve adatte alla valutazione automatizzata. Ogni domanda ha una soluzione nota, univoca e facilmente verificabile, ma non può essere risolta rapidamente tramite recupero da internet. I LLM all'avanguardia mostrano una bassa accuratezza e calibrazione su HLE, evidenziando un significativo divario tra le attuali capacità dei LLM e il confine umano esperto riguardo alle domande accademiche chiuse. Per informare la ricerca e l'elaborazione delle politiche su una chiara comprensione delle capacità del modello, rilasciamo pubblicamente HLE su https://lastexam.ai.

Questo articolo introduce un approccio per addestrare modelli RAG simili a o1 che recuperano e ragionano su informazioni rilevanti passo dopo passo prima di generare la risposta finale. I metodi RAG convenzionali di solito eseguono un singolo passaggio di recupero prima del processo di generazione, il che limita la loro efficacia nel rispondere a query complesse a causa dei risultati imperfetti del recupero. Al contrario, il nostro metodo proposto, CoRAG (Generazione potenziata da catena di recupero), consente al modello di riformulare dinamicamente la query in base allo stato in evoluzione. Per addestrare in modo efficace CoRAG, utilizziamo il campionamento di rifiuto per generare automaticamente catene di recupero intermedie, aumentando così i dataset RAG esistenti che forniscono solo la risposta finale corretta. Al momento del test, proponiamo varie strategie di decodifica per scalare il calcolo del modello durante il test controllando la lunghezza e il numero di catene di recupero campionate. I risultati sperimentali su più benchmark convalidano l'efficacia di CoRAG, in particolare nei compiti di risposta a domande multi-hop, dove osserviamo un miglioramento di oltre 10 punti nel punteggio EM rispetto alle basi solide. Sul benchmark KILT, CoRAG stabilisce un nuovo stato dell'arte in una vasta gamma di compiti ricchi di conoscenza. Inoltre, offriamo analisi approfondite per comprendere il comportamento di scalabilità di CoRAG, gettando le basi per futura ricerca volta allo sviluppo di modelli di base fattuali e fondati.

Le critiche sono importanti per migliorare le prestazioni dei Grandi Modelli di Linguaggio (LLM), consentendo sia l'auto-miglioramento che un feedback costruttivo per gli altri identificando difetti e suggerendo miglioramenti. Tuttavia, valutare le capacità critiche dei LLM rappresenta una sfida significativa a causa della natura aperta del compito. In questo lavoro, presentiamo un nuovo benchmark progettato per valutare le capacità critiche dei LLM. A differenza dei benchmark esistenti, che di solito funzionano in modo open-loop, il nostro approccio utilizza una metodologia closed-loop che valuta la qualità delle correzioni generate dalle critiche. Inoltre, il benchmark incorpora funzionalità come l'auto-critica, la critica incrociata e la critica iterativa, che sono cruciali per distinguere le capacità dei modelli di ragionamento avanzati da quelli più classici. Implementiamo questo benchmark utilizzando otto compiti di ragionamento impegnativi. Abbiamo fatto diverse scoperte interessanti. In primo luogo, nonostante dimostrino prestazioni comparabili nella generazione diretta di catene di pensiero, i LLM classici rimangono significativamente indietro rispetto al modello basato sul ragionamento avanzato o1-mini in tutti gli scenari di critica. In secondo lu luogo, nei contesti di auto-critica e critica iterativa, i LLM classici potrebbero addirittura avere prestazioni inferiori rispetto alle loro capacità di base. Speriamo che questo benchmark possa servire come risorsa preziosa per guidare futuri progressi. Il codice e i dati sono disponibili su https://github.com/tangzhy/RealCritic.

Con l'iterazione rapida dei Modelli Linguistici Multimodali di Grandi Dimensioni (MLLMs) e le esigenze in evoluzione del settore, il numero di benchmark prodotti annualmente è aumentato fino a raggiungere centinaia di unità. La crescita rapida ha inevitabilmente portato a una significativa ridondanza tra i benchmark. Pertanto, è cruciale fare un passo indietro e valutare criticamente lo stato attuale della ridondanza e proporre principi mirati per la costruzione di benchmark MLLM efficaci. In questo articolo, ci concentriamo sulla ridondanza da tre prospettive chiave: 1) Ridondanza delle dimensioni delle capacità del benchmark, 2) Ridondanza nel numero di domande di test e 3) Ridondanza tra benchmark all'interno di specifici domini. Attraverso un'analisi approfondita delle performance di centinaia di MLLM su oltre 20 benchmark, miriamo a misurare quantitativamente il livello di ridondanza presente nelle valutazioni esistenti dei MLLM, fornire preziose intuizioni per guidare lo sviluppo futuro dei benchmark MLLM e offrire strategie per affinare ed affrontare efficacemente le problematiche legate alla ridondanza.

E se l'intelligenza artificiale non solo potesse risolvere problemi per i quali è stata addestrata, ma imparasse anche a insegnare a se stessa a risolvere nuovi problemi (cioè, meta-apprendimento)? In questo studio, dimostriamo che un trasformatore pre-addestrato, affinato con apprendimento per rinforzo su più episodi, sviluppa la capacità di risolvere problemi che non ha mai incontrato prima - una capacità emergente chiamata Apprendimento per Rinforzo In-Contesto (ICRL). Questo potente meta-apprendista eccelle non solo nel risolvere ambienti non visti all'interno della distribuzione con notevole efficienza campionaria, ma mostra anche una forte performance in ambienti fuori dalla distribuzione. Inoltre, mostriamo che dimostra robustezza rispetto alla qualità dei suoi dati di addestramento, unisce senza soluzione di continuità comportamenti dal suo contesto e si adatta a ambienti non stazionari. Questi comportamenti dimostrano che un trasformatore addestrato con RL può migliorare iterativamente le proprie soluzioni, rendendolo un eccellente risolutore di problemi generico.

Proponiamo Avatar Gaussiani a Codec a Corpo Intero Relightable, un nuovo approccio per modellare avatar a corpo intero relightable con dettagli finemente dettagliati inclusi viso e mani. La sfida unica per illuminare gli avatar a corpo intero risiede nelle grandi deformazioni causate dall'articolazione del corpo e nell'impatto risultante sull'aspetto causato dal trasporto della luce. I cambiamenti nella posa del corpo possono cambiare drasticamente l'orientamento delle superfici corporee rispetto alle luci, risultando in cambiamenti nell'aspetto locale dovuti a cambiamenti nelle funzioni di trasporto locale della luce, così come cambiamenti non locali dovuti all'occlusione tra le parti del corpo. Per affrontare questo problema, decomponiamo il trasporto della luce in effetti locali e non locali. I cambiamenti nell'aspetto locale sono modellati utilizzando armoniche zonali apprendibili per il trasferimento di radianza diffusa. A differenza delle armoniche sferiche, le armoniche zonali sono altamente efficienti da ruotare sotto articolazione. Ciò ci consente di apprendere il trasferimento di radianza diffusa in un frame di coordinate locale, che disaccoppia il trasferimento di radianza locale dall'articolazione del corpo. Per tener conto dei cambiamenti nell'aspetto non locale, introduciamo una rete di ombre che predice le ombre date le irradiazioni in arrivo precalcolate su una maglia di base. Ciò facilita l'apprendimento dell'ombreggiatura non locale tra le parti del corpo. Infine, utilizziamo un approccio di shading differito per modellare il trasferimento di radianza speculare e catturare meglio riflessi e punti luminosi come bagliori negli occhi. Dimostriamo che il nostro approccio modella con successo sia il trasporto della luce locale che non locale richiesto per gli avatar a corpo intero relightable, con una capacità di generalizzazione superiore in condizioni di illuminazione nuove e pose non viste.

I sistemi sanitari generano continuamente vaste quantità di cartelle cliniche elettroniche (EHR), comunemente memorizzate nello standard Fast Healthcare Interoperability Resources (FHIR). Nonostante la ricchezza di informazioni in queste registrazioni, la loro complessità e volume rendono difficile per gli utenti recuperare e interpretare informazioni cruciali sulla salute. Gli avanzamenti recenti nei Large Language Models (LLM) offrono una soluzione, consentendo la risposta semantica alle domande (QA) sui dati medici, permettendo agli utenti di interagire in modo più efficace con le proprie cartelle cliniche. Tuttavia, garantire la privacy e la conformità richiede implementazioni locali e private dei LLM. Questo articolo propone un approccio innovativo alla risposta semantica alle domande sulle EHR identificando innanzitutto le risorse FHIR più rilevanti per una query dell'utente (Task1) e successivamente rispondendo alla query basandosi su tali risorse (Task2). Esaminiamo le prestazioni dei LLM sintonizzati finemente ospitati privatamente, valutandoli rispetto a modelli di riferimento come GPT-4 e GPT-4o. I nostri risultati dimostrano che i LLM sintonizzati finemente, pur essendo 250 volte più piccoli in dimensioni, superano i modelli della famiglia GPT-4 dello 0,55% nel punteggio F1 su Task1 e del 42% nel compito Meteor su Task2. Inoltre, esaminiamo aspetti avanzati dell'uso dei LLM, inclusa la sintonizzazione sequenziale, l'autovalutazione del modello (autovalutazione narcisistica) e l'impatto delle dimensioni dei dati di addestramento sulle prestazioni. I modelli e i set di dati sono disponibili qui: https://huggingface.co/genloop

I recenti progressi nei grandi modelli multimodali (LMM) hanno riconosciuto il grounding dettagliato come un fattore imprescindibile per la comprensione visiva e il dialogo. Tuttavia, i benefici di tale rappresentazione nei LMM sono limitati al dominio delle immagini naturali, e questi modelli si comportano male per il rilevamento remoto (RS). La prospettiva aerea distinta, la variazione di scala e la presenza di oggetti di piccole dimensioni nelle immagini ad alta risoluzione di RS presentano una sfida unica nella comprensione a livello di regione. Inoltre, lo sviluppo della capacità di conversazione basata sul grounding dei LMM all'interno del RS è ostacolato dalla mancanza di dati granulari specifici del dominio RS. Affrontando queste limitazioni, proponiamo GeoPixel - il primo RS-LMM ad alta risoluzione end-to-end che supporta il grounding a livello di pixel. Questa capacità consente una percezione visiva dettagliata generando maschere intercalate nella conversazione. GeoPixel supporta risoluzioni fino a 4K HD in qualsiasi rapporto d'aspetto, ideale per l'analisi di immagini di RS ad alta precisione. Per supportare la generazione di conversazioni basate sul grounding (GCG) nelle immagini di RS, curiamo un dataset visualmente basato, GeoPixelD, attraverso un flusso di lavoro semi-automatico che utilizza prompt di insiemi di segni e priorità spaziali adattati ai dati di RS per controllare metodicamente il processo di generazione dei dati. GeoPixel dimostra prestazioni superiori nella comprensione a livello di pixel, superando i LMM esistenti sia nei compiti di segmentazione a singolo bersaglio che multi-bersaglio. I nostri studi metodologici di ablation convalidano l'efficacia di ciascun componente nell'architettura complessiva. Il nostro codice e i dati saranno resi pubblici.

I modelli fondamentali di visione, in particolare la famiglia ViT, hanno rivoluzionato la comprensione delle immagini fornendo ricche caratteristiche semantiche. Tuttavia, nonostante il loro successo nella comprensione 2D, le loro capacità di comprendere le relazioni spaziali in 3D sono ancora poco chiare. In questo lavoro valutiamo e potenziamo la consapevolezza in 3D dei modelli basati su ViT. Iniziamo valutando sistematicamente la loro capacità di apprendere caratteristiche 3D equivarianti, esaminando specificamente la coerenza degli embedding semantici tra diversi punti di vista. I nostri risultati indicano che un'equiarianza 3D migliorata porta a migliori prestazioni su varie attività derivate, inclusa la stima della posa, il tracciamento e il trasferimento semantico. Sulla base di questa intuizione, proponiamo una strategia di fine-tuning semplice ma efficace basata su corrispondenze 3D, che potenzia significativamente la comprensione delle corrispondenze 3D dei modelli di visione esistenti. Sorprendentemente, anche il fine-tuning su un singolo oggetto per una sola iterazione porta a notevoli miglioramenti delle prestazioni. Tutto il codice e le risorse saranno resi pubblicamente disponibili per supportare ulteriori progressi nei modelli di visione consapevoli in 3D. Il nostro codice è disponibile su https://github.com/qq456cvb/3DCorrEnhance.

La tecnologia di prova virtuale (VTON) ha attirato l'attenzione per il suo potenziale nel trasformare il commercio online consentendo una visualizzazione realistica dell'abbigliamento tramite immagini e video. Tuttavia, la maggior parte dei metodi esistenti fatica a ottenere risultati di alta qualità nelle attività di prova di immagini e video, specialmente in scenari di video lunghi. In questo lavoro, presentiamo CatV2TON, un metodo di prova virtuale basato sulla visione (V2TON) semplice ed efficace che supporta sia le attività di prova di immagini che di video con un singolo modello trasformatore a diffusione. Concatenando temporalmente gli input di indumenti e persone e addestrandosi su un mix di set di dati di immagini e video, CatV2TON raggiunge prestazioni di prova robuste in impostazioni statiche e dinamiche. Per una generazione efficiente di video lunghi, proponiamo una strategia di inferenza basata su clip sovrapposte che utilizza una guida di frame sequenziale e la Normalizzazione Adattiva delle Clip (AdaCN) per mantenere la coerenza temporale con minori richieste di risorse. Presentiamo inoltre ViViD-S, un dataset raffinato di prova video, ottenuto filtrando i frame rivolti all'indietro e applicando un'ottimizzazione della maschera 3D per una maggiore coerenza temporale. Esperimenti completi dimostrano che CatV2TON supera i metodi esistenti sia nelle attività di prova di immagini che di video, offrendo una soluzione versatile e affidabile per prove virtuali realistiche in scenari diversi.

Nel processo di acquisizione delle immagini, sono spesso introdotte varie forme di degrado, tra cui rumore, foschia e pioggia. Questi degradi derivano tipicamente dai limiti intrinseci delle fotocamere o dalle condizioni ambientali sfavorevoli. Per ripristinare immagini pulite dalle versioni degradate, sono stati sviluppati numerosi metodi specializzati di ripristino, ognuno mirato a un tipo specifico di degrado. Recentemente, gli algoritmi "all-in-one" hanno attirato notevole attenzione affrontando diversi tipi di degrado all'interno di un singolo modello senza richiedere informazioni preliminari sul tipo di degrado in ingresso. Tuttavia, questi metodi operano esclusivamente nel dominio spaziale e non approfondiscono le distinte variazioni di frequenza proprie dei diversi tipi di degrado. Per colmare questa lacuna, proponiamo una rete di ripristino di immagini "all-in-one" adattiva basata sull'estrazione e sulla modulazione delle frequenze. Il nostro approccio è motivato dall'osservazione che diversi tipi di degrado influenzano il contenuto dell'immagine su diverse sottobande di frequenza, richiedendo quindi trattamenti diversi per ciascun compito di ripristino. In particolare, estraiamo inizialmente informazioni a bassa e alta frequenza dalle caratteristiche in ingresso, guidati spettralmente in modo adattivo dall'immagine degradata. Le caratteristiche estratte vengono poi modulate da un operatore bidirezionale per facilitare le interazioni tra i diversi componenti di frequenza. Infine, le caratteristiche modulate vengono fuse nell'input originale per un ripristino guidato in modo progressivo. Con questo approccio, il modello raggiunge una ricostruzione adattiva accentuando le sottobande di frequenza informative in base ai diversi degradi in ingresso. Estesi esperimenti dimostrano che il metodo proposto raggiunge prestazioni all'avanguardia su diversi compiti di ripristino delle immagini, tra cui denoising, dehazing, deraining, motion deblurring e miglioramento delle immagini a bassa luminosità. Il nostro codice è disponibile su https://github.com/c-yn/AdaIR.

Sebbene i metodi di ripristino delle immagini basati sull'apprendimento abbiano fatto progressi significativi, faticano ancora a generalizzare in scenari del mondo reale a causa della notevole differenza di dominio causata dall'addestramento su dati sintetici. I metodi esistenti affrontano questo problema migliorando i flussi di sintesi dei dati, stimando i kernel di degradazione, utilizzando l'apprendimento interno profondo e eseguendo l'adattamento di dominio e la regolarizzazione. I metodi precedenti di adattamento di dominio hanno cercato di colmare il divario di dominio apprendendo conoscenze invarianti al dominio nello spazio delle caratteristiche o dei pixel. Tuttavia, queste tecniche spesso faticano ad estendersi a compiti di visione a basso livello all'interno di un framework stabile e compatto. In questo articolo, mostriamo che è possibile eseguire l'adattamento di dominio tramite lo spazio del rumore utilizzando modelli di diffusione. In particolare, sfruttando la proprietà unica di come gli input condizionali ausiliari influenzano il processo di denoising a più passaggi, deriviamo una perdita di diffusione significativa che guida il modello di ripristino nell'allineare progressivamente sia le uscite sintetiche ripristinate che quelle del mondo reale con una distribuzione pulita di destinazione. Ci riferiamo a questo metodo come adattamento tramite denoising. Per evitare scorciatoie durante l'addestramento congiunto, presentiamo strategie cruciali come lo strato di channel-shuffling e il contrastive learning di residual-swapping nel modello di diffusione. Queste sfumano implicitamente i confini tra dati sintetici condizionati e reali e impediscono al modello di fare affidamento su caratteristiche facilmente distinguibili. I risultati sperimentali su tre classici compiti di ripristino delle immagini, ovvero denoising, deblurring e deraining, dimostrano l'efficacia del metodo proposto.