Articoli di Ricerca IA Giornalieri

Questo articolo introduce l'UCFE: User-Centric Financial Expertise benchmark, un innovativo framework progettato per valutare l'abilità dei grandi modelli linguistici (LLM) nel gestire compiti finanziari complessi del mondo reale. Il benchmark UCFE adotta un approccio ibrido che combina valutazioni di esperti umani con interazioni dinamiche e specifiche per il compito per simulare le complessità degli scenari finanziari in evoluzione. In primo luogo, abbiamo condotto uno studio utente coinvolgendo 804 partecipanti, raccogliendo i loro feedback su compiti finanziari. In secondo luogo, basandoci su questi feedback, abbiamo creato il nostro dataset che comprende una vasta gamma di intenti e interazioni degli utenti. Questo dataset serve da base per il confronto delle prestazioni di 12 servizi LLM utilizzando la metodologia LLM-come-Giudice. I nostri risultati mostrano un significativo allineamento tra i punteggi del benchmark e le preferenze umane, con un coefficiente di correlazione di Pearson pari a 0,78, confermando l'efficacia del dataset UCFE e del nostro approccio di valutazione. Il benchmark UCFE non solo rivela il potenziale dei LLM nel settore finanziario, ma fornisce anche un solido framework per valutare le loro prestazioni e la soddisfazione degli utenti. Il dataset di benchmark e il codice di valutazione sono disponibili.

I grandi modelli linguistici (LLM) hanno recentemente attirato molta attenzione nella costruzione di agenti autonomi. Tuttavia, le prestazioni degli attuali agenti web basati su LLM in compiti a lungo termine sono ben lontane dall'essere ottimali, spesso generando errori come l'acquisto ripetuto di un biglietto aereo non rimborsabile. Al contrario, gli esseri umani possono evitare un tale errore irreversibile, poiché abbiamo consapevolezza delle possibili conseguenze (ad esempio, la perdita di denaro) delle nostre azioni, nota anche come "modello del mondo". Motivato da ciò, il nostro studio inizia con analisi preliminari, confermando l'assenza di modelli del mondo nei LLM attuali (ad esempio, GPT-4o, Claude-3.5-Sonnet, ecc.). Successivamente, presentiamo un agente web potenziato dal modello del mondo (WMA), che simula gli esiti delle sue azioni per prendere decisioni migliori. Per superare le sfide nel addestrare i LLM come modelli del mondo che prevedono le osservazioni successive, come elementi ripetuti tra le osservazioni e lunghi input HTML, proponiamo un'astrazione delle osservazioni focalizzata sulla transizione, in cui gli obiettivi di previsione sono descrizioni in linguaggio naturale libero che mettono in evidenza esclusivamente le differenze di stato importanti tra i passaggi temporali. Gli esperimenti su WebArena e Mind2Web mostrano che i nostri modelli del mondo migliorano la selezione delle politiche degli agenti senza addestramento e dimostrano l'efficienza in termini di costo e tempo dei nostri agenti rispetto agli agenti recenti basati sulla ricerca ad albero.

I modelli visione-linguaggio (VLM) hanno fatto significativi progressi negli ultimi benchmark di domande-risposte visive (VQA) che valutano il complesso ragionamento visio-linguistico. Tuttavia, questi modelli sono veramente efficaci? In questo lavoro, mostriamo che i VLM faticano ancora con immagini naturali e domande che gli umani possono risolvere facilmente, che definiamo campioni avversari naturali. Troviamo anche sorprendentemente facile generare questi campioni VQA da corpora di immagini e testi naturali utilizzando modelli pronti all'uso come CLIP e ChatGPT. Proponiamo un approccio semi-automatico per raccogliere un nuovo benchmark, NaturalBench, per valutare in modo affidabile i VLM con 10.000 campioni VQA verificati dagli umani. In modo cruciale, adottiamo un design centrato sulla visione accoppiando ogni domanda con due immagini che forniscono risposte diverse, impedendo soluzioni cieche di rispondere senza utilizzare le immagini. Ciò rende NaturalBench più impegnativo rispetto ai benchmark precedenti che possono essere risolti con presupposti di buon senso. Valutiamo 53 VLM all'avanguardia su NaturalBench, dimostrando che modelli come LLaVA-OneVision, Cambrian-1, Llama3.2-Vision, Molmo, Qwen2-VL e persino GPT-4o sono in ritardo del 50%-70% rispetto alle prestazioni umane (oltre il 90%). Analizziamo perché NaturalBench è difficile da due prospettive: (1) Composizionalità: Risolvere NaturalBench richiede diverse abilità visio-linguistiche, inclusi la comprensione dei legami degli attributi, le relazioni tra gli oggetti e ragionamenti avanzati come la logica e il conteggio. A tal fine, a differenza dei lavori precedenti che utilizzano un singolo tag per campione, etichettiamo ogni campione NaturalBench con 1-8 tag di abilità per una valutazione dettagliata. (2) Bias: NaturalBench espone gravi bias nei VLM, poiché i modelli spesso scelgono la stessa risposta indipendentemente dall'immagine. Infine, applichiamo il nostro metodo di cura del benchmark a diverse fonti di dati, inclusi lunghi sottotitoli (oltre 100 parole) e lingue non inglesi come il cinese e l'hindi, evidenziando il suo potenziale per valutazioni dinamiche dei VLM.

I recenti progressi nei modelli di diffusione testo-immagine (T2I) hanno reso possibile la creazione di immagini di alta qualità da prompt di testo, ma faticano ancora a generare immagini con un controllo preciso su concetti visivi specifici. Gli approcci esistenti possono replicare un dato concetto apprendendo da immagini di riferimento, tuttavia mancano della flessibilità per una personalizzazione dettagliata dei singoli componenti all'interno del concetto. In questo articolo, presentiamo la personalizzazione controllabile dei componenti, un compito innovativo che spinge i limiti dei modelli T2I consentendo agli utenti di riconfigurare componenti specifici durante la personalizzazione dei concetti visivi. Questo compito è particolarmente impegnativo a causa di due ostacoli principali: inquinamento semantico, dove elementi visivi indesiderati corrompono il concetto personalizzato, e squilibrio semantico, che causa un apprendimento sproporzionato del concetto e del componente. Per superare queste sfide, progettiamo MagicTailor, un framework innovativo che sfrutta la Degradazione Mascherata Dinamica (DM-Deg) per perturbare dinamicamente le semantica visive indesiderate e il Bilanciamento a Doppio Flusso (DS-Bal) per stabilire un paradigma di apprendimento bilanciato per le semantica visive desiderate. Comparazioni, ablation e analisi approfondite dimostrano che MagicTailor eccelle non solo in questo compito impegnativo ma offre anche significative promesse per applicazioni pratiche, aprendo la strada a una generazione di immagini più sfumata e creativa.

L'attenzione è la pietra angolare dei moderni Grandi Modelli Linguistici (LLM). Tuttavia, la sua complessità quadratica limita l'efficienza e la scalabilità dei LLM, specialmente per quelli con una finestra di contesto lunga. Un approccio promettente che affronta questa limitazione è sfruttare la sparso nell'attenzione. Tuttavia, le soluzioni basate sulla sparso esistenti si basano principalmente su pattern predefiniti o euristiche per approssimare la sparso. Questa pratica non riesce a catturare appieno la natura dinamica della sparso dell'attenzione nei compiti basati sul linguaggio. Questo articolo sostiene che la sparso dell'attenzione dovrebbe essere appresa piuttosto che predefinita. A tal fine, progettiamo SeerAttention, un nuovo meccanismo di Attenzione che potenzia l'attenzione convenzionale con un gate apprendibile che seleziona in modo adattivo blocchi significativi in una mappa di attenzione e considera gli altri blocchi sparso. Tale sparso a livello di blocco bilancia efficacemente precisione e accelerazione. Per consentire un apprendimento efficiente della rete di gating, sviluppiamo un'implementazione FlashAttention personalizzata che estrae la verità fondamentale a livello di blocco della mappa di attenzione con un overhead minimo. SeerAttention non si applica solo al post-training, ma eccelle anche nel fine-tuning a lungo contesto. I nostri risultati mostrano che nelle fasi post-training, SeerAttention supera significativamente i metodi di attenzione sparso statici o basati su euristiche all'avanguardia, essendo anche più versatile e flessibile per adattarsi a lunghezze di contesto e rapporti di sparso variabili. Applicato al fine-tuning a lungo contesto con YaRN, SeerAttention può raggiungere un notevole rapporto di sparso del 90% a una lunghezza di contesto di 32k con una perdita minima di perplessità, offrendo un'accelerazione di 5,67x rispetto a FlashAttention-2.

La natura è infinitamente priva di risoluzione. Nel contesto di questa realtà, i modelli di diffusione esistenti, come i Diffusion Transformers, spesso incontrano sfide nel processare risoluzioni delle immagini al di fuori del loro dominio addestrato. Per affrontare questa limitazione, concepiamo le immagini come sequenze di token con dimensioni dinamiche, piuttosto che i metodi tradizionali che percepiscono le immagini come griglie a risoluzione fissa. Questa prospettiva consente una strategia di addestramento flessibile che si adatta senza soluzione di continuità a vari rapporti d'aspetto sia durante l'addestramento che nell'inferenza, promuovendo così la generalizzazione della risoluzione ed eliminando i bias introdotti dal ritaglio delle immagini. Sulla base di questo, presentiamo il Flexible Vision Transformer (FiT), un'architettura transformer progettata specificamente per generare immagini con risoluzioni e rapporti d'aspetto illimitati. Potenziando ulteriormente il FiT al FiTv2 con diversi design innovativi, tra cui la normalizzazione del vettore Query-Key, il modulo AdaLN-LoRA, un programmatore di flusso rettificato e un campionatore Logit-Normal. Potenziato da una struttura di rete attentamente regolata, il FiTv2 mostra una velocità di convergenza 2 volte superiore al FiT. Integrando tecniche avanzate di estrapolazione senza addestramento, il FiTv2 dimostra una notevole adattabilità sia nell'estrapolazione della risoluzione che nella generazione di risoluzioni diverse. Inoltre, la nostra esplorazione della scalabilità del modello FiTv2 rivela che modelli più grandi mostrano una migliore efficienza computazionale. Inoltre, introduciamo una strategia efficiente di post-addestramento per adattare un modello pre-addestrato per la generazione ad alta risoluzione. Esperimenti esaustivi dimostrano le eccezionali prestazioni del FiTv2 su un'ampia gamma di risoluzioni. Abbiamo reso disponibili tutti i codici e i modelli su https://github.com/whlzy/FiT per promuovere l'esplorazione dei modelli di diffusione transformer per la generazione di immagini a risoluzione arbitraria.

Le proteine sono macromolecole essenziali definite dalle loro sequenze di amminoacidi, che determinano le loro strutture tridimensionali e, di conseguenza, le loro funzioni in tutti gli organismi viventi. Pertanto, la modellazione generativa delle proteine richiede un approccio multimodale per modellare, comprendere e generare simultaneamente sia le sequenze che le strutture. Tuttavia, i metodi esistenti di solito utilizzano modelli separati per ciascuna modalità, limitando la loro capacità di catturare le complesse relazioni tra sequenza e struttura. Ciò comporta prestazioni non ottimali nei compiti che richiedono una comprensione congiunta e la generazione di entrambe le modalità. In questo articolo, presentiamo DPLM-2, un modello fondamentale di proteine multimodale che estende il modello di linguaggio proteico a diffusione discreta (DPLM) per includere sia sequenze che strutture. Per consentire l'apprendimento strutturale con il modello di linguaggio, le coordinate 3D vengono convertite in token discreti utilizzando un tokenizer basato su quantizzazione senza ricerca. Allenandosi su strutture sperimentali e sintetiche di alta qualità, DPLM-2 apprende la distribuzione congiunta di sequenza e struttura, così come i loro marginali e condizionali. Implementiamo anche una strategia efficiente di avvio per sfruttare la connessione tra dati evolutivi su larga scala e i bias induttivi strutturali dai modelli di linguaggio proteico preaddestrati basati su sequenza. La valutazione empirica mostra che DPLM-2 può generare simultaneamente sequenze di amminoacidi altamente compatibili e le rispettive strutture 3D eliminando la necessità di un approccio di generazione a due fasi. Inoltre, DPLM-2 dimostra prestazioni competitive in vari compiti di generazione condizionale, inclusi piegatura, piegatura inversa e impalcatura con input di motivi multimodali, oltre a fornire rappresentazioni consapevoli della struttura per compiti predittivi.

GPT-4o, un modello onnicomprensivo, rappresenta una pietra miliare nello sviluppo di grandi modelli di linguaggio multimodali. È in grado di comprendere modalità visive, uditive e testuali, generare direttamente audio e supportare interazioni duplex flessibili. I modelli della comunità open-source spesso raggiungono alcune funzionalità di GPT-4o, come la comprensione visiva e le chat vocali. Tuttavia, addestrare un modello unificato che incorpori tutte le modalità è una sfida a causa delle complessità dei dati multimodali, delle intricate architetture dei modelli e dei processi di addestramento. In questo articolo, presentiamo Mini-Omni2, un assistente visivo-audio in grado di fornire risposte vocali in tempo reale, end-to-end, a query visive e audio. Integrando encoder visivi e uditivi preaddestrati, Mini-Omni2 mantiene le prestazioni nelle singole modalità. Proponiamo un processo di addestramento a tre fasi per allineare le modalità, consentendo al modello di linguaggio di gestire input e output multimodali dopo l'addestramento su un dataset limitato. Per l'interazione, introduciamo un meccanismo di interruzione basato su comandi, che consente un'interazione più flessibile con gli utenti. Fino ad oggi, Mini-Omni2 è una delle riproduzioni più fedeli di GPT-4o, che presentano una forma simile di funzionalità, e speriamo possa offrire preziose intuizioni per ricerche successive.

Introduciamo Hybrid Autoregressive Transformer (HART), un modello generativo visuale autoregressivo (AR) in grado di generare direttamente immagini 1024x1024, competendo con i modelli di diffusione nella qualità della generazione di immagini. I modelli AR esistenti affrontano limitazioni dovute alla scarsa qualità di ricostruzione dell'immagine dei loro tokenizzatori discreti e ai costi proibitivi di addestramento associati alla generazione di immagini a 1024px. Per affrontare queste sfide, presentiamo il tokenizer ibrido, che decompone i latenti continui dall'autocoder in due componenti: token discreti che rappresentano l'immagine generale e token continui che rappresentano le componenti residue che non possono essere rappresentate dai token discreti. La componente discreta è modellata da un modello AR discreto a risoluzione scalabile, mentre la componente continua è appresa con un modulo di diffusione residuale leggero con soli 37M parametri. Rispetto al tokenizer VAR solo discreto, il nostro approccio ibrido migliora il FID di ricostruzione da 2.11 a 0.30 su MJHQ-30K, portando a un miglioramento del FID di generazione del 31% da 7.85 a 5.38. HART supera anche i modelli di diffusione all'avanguardia sia nel FID che nel punteggio CLIP, con un throughput superiore del 4.5-7.7x e MACs inferiori del 6.9-13.4x. Il nostro codice è open source su https://github.com/mit-han-lab/hart.

I dati di bassa qualità o scarsi hanno posto significativi ostacoli per l'addestramento delle reti neurali profonde in pratica. Mentre l'aumento classico dei dati non può contribuire a dati molto diversi, i modelli di diffusione aprono una nuova porta per costruire un'intelligenza artificiale auto-evolutiva generando dati sintetici di alta qualità e diversificati attraverso prompt guidati dal testo. Tuttavia, solo la guida basata sul testo non può controllare la vicinanza delle immagini sintetiche alle immagini originali, portando a dati fuori distribuzione dannosi per le prestazioni del modello. Per superare questa limitazione, studiamo la guida delle immagini per ottenere uno spettro di interpolazioni tra immagini sintetiche e reali. Con una guida delle immagini più forte, le immagini generate sono simili ai dati di addestramento ma difficili da apprendere. Mentre con una guida delle immagini più debole, le immagini sintetiche saranno più facili per il modello ma contribuiranno a una maggiore discrepanza di distribuzione rispetto ai dati originali. Il pieno spettro di dati generati ci consente di costruire un nuovo "Curriculum di Diffusione (DisCL)". DisCL regola il livello di guida delle immagini della sintesi delle immagini per ciascuna fase di addestramento: identifica e si concentra sui campioni difficili per il modello e valuta il livello di guida più efficace delle immagini sintetiche per migliorare l'apprendimento dei dati difficili. Applichiamo DisCL a due compiti impegnativi: classificazione a coda lunga (LT) e apprendimento da dati di bassa qualità. Si concentra su immagini a bassa guida di alta qualità per apprendere caratteristiche prototipiche come riscaldamento prima di apprendere immagini ad alta guida che potrebbero essere carenti di diversità o qualità. Estesi esperimenti mostrano un aumento del 2,7% e del 2,1% rispettivamente nell'accuratezza macro OOD e ID quando si applica DisCL al dataset iWildCam. Su ImageNet-LT, DisCL migliora l'accuratezza della classe di coda del modello base dal 4,4% al 23,64% e porta a un miglioramento dell'accuratezza di tutte le classi del 4,02%.

La generazione di testa parlante mira a produrre video di testa parlante vividi e realistici da un singolo ritratto e clip audio di discorso. Sebbene siano stati compiuti progressi significativi nella generazione di testa parlante basata sulla diffusione, quasi tutti i metodi si basano su strategie autoregressive, che soffrono di limitata utilizzazione del contesto oltre il passo corrente di generazione, accumulo di errori e maggiore lentezza di generazione. Per affrontare queste sfide, presentiamo DAWN (Dynamic frame Avatar With Non-autoregressive diffusion), un framework che consente la generazione simultanea di sequenze video di lunghezza dinamica. In particolare, è composto da due componenti principali: (1) generazione di dinamiche facciali olistiche guidate dall'audio nello spazio di movimento latente e (2) generazione di posa della testa e battito delle palpebre guidate dall'audio. Estesi esperimenti dimostrano che il nostro metodo genera video autentici e vividi con precisi movimenti delle labbra e movimenti naturali di posa/battito delle palpebre. Inoltre, con un'alta velocità di generazione, DAWN possiede forti capacità di estrapolazione, garantendo la produzione stabile di video lunghi di alta qualità. Questi risultati evidenziano il considerevole potenziale e impatto di DAWN nel campo della generazione di video di testa parlante. Inoltre, speriamo che DAWN stimoli ulteriori esplorazioni di approcci non autoregressivi nei modelli di diffusione. Il nostro codice sarà pubblicamente disponibile su https://github.com/Hanbo-Cheng/DAWN-pytorch.

Lo sviluppo rapido dei Grandi Modelli di Linguaggio Autoregressivi (LLM) ha migliorato significativamente la qualità dei testi generati, rendendo necessari dei rilevatori affidabili di testi generati automaticamente. Un gran numero di rilevatori e raccolte con frammenti di intelligenza artificiale sono emersi, e diversi metodi di rilevamento hanno dimostrato una qualità di riconoscimento fino al 99,9% secondo le metriche di riferimento in tali raccolte. Tuttavia, la qualità di tali rilevatori tende a diminuire drasticamente in situazioni reali, ponendo una domanda: i rilevatori sono effettivamente molto affidabili o i loro alti punteggi di riferimento derivano dalla scarsa qualità dei set di valutazione? In questo articolo, sottolineiamo la necessità di metodi robusti e qualitativi per valutare i dati generati al fine di essere sicuri contro il bias e la scarsa capacità di generalizzazione dei futuri modelli. Presentiamo una revisione sistematica dei set di dati provenienti da competizioni dedicate alla rilevazione di contenuti generati da intelligenza artificiale e proponiamo metodi per valutare la qualità dei set di dati contenenti frammenti generati da intelligenza artificiale. Inoltre, discutiamo la possibilità di utilizzare dati generati di alta qualità per raggiungere due obiettivi: migliorare l'addestramento dei modelli di rilevamento e migliorare i set di dati di addestramento stessi. Il nostro contributo mira a facilitare una migliore comprensione della dinamica tra testo umano e testo generato da macchine, che supporterà in ultima analisi l'integrità delle informazioni in un mondo sempre più automatizzato.

Introduciamo BiGR, un nuovo modello di generazione condizionale di immagini che utilizza codici latenti binari compatti per l'addestramento generativo, con l'obiettivo di potenziare le capacità di generazione e rappresentazione. BiGR è il primo modello generativo condizionale che unisce generazione e discriminazione all'interno dello stesso framework. BiGR presenta un tokenizzatore binario, un meccanismo di modellazione mascherato e un trascodificatore binario per la predizione del codice binario. Inoltre, introduciamo un nuovo metodo di campionamento ordinato per entropia per abilitare una generazione efficiente delle immagini. Esperimenti estesi convalidano le prestazioni superiori di BiGR in termini di qualità di generazione, misurata da FID-50k, e capacità di rappresentazione, come evidenziato dall'accuratezza della sonda lineare. Inoltre, BiGR dimostra una generalizzazione a zero-shot attraverso vari compiti di visione, consentendo applicazioni come il ritocco, l'estensione, l'editing, l'interpolazione e l'arricchimento delle immagini, senza la necessità di modifiche strutturali. I nostri risultati suggeriscono che BiGR unisce in modo efficace compiti generativi e discriminativi, aprendo la strada a ulteriori progressi nel campo.

Introduciamo Shakti, un modello linguistico con 2,5 miliardi di parametri ottimizzato specificamente per ambienti con risorse limitate come dispositivi periferici, inclusi smartphone, dispositivi indossabili e sistemi IoT. Shakti combina NLP ad alte prestazioni con efficienza e precisione ottimizzate, rendendolo ideale per applicazioni di intelligenza artificiale in tempo reale dove le risorse computazionali e la memoria sono limitate. Con il supporto per lingue vernacolari e compiti specifici del dominio, Shakti eccelle in settori come sanità, finanza e servizio clienti. Valutazioni di benchmark dimostrano che Shakti si comporta in modo competitivo rispetto a modelli più grandi mantenendo bassa latenza ed efficienza on-device, posizionandolo come una soluzione leader per l'AI periferica.

Gli esseri umani acquisiscono conoscenza osservando il mondo esterno, ma anche tramite l'introspezione. L'introspezione fornisce a una persona un accesso privilegiato al proprio stato mentale attuale (ad esempio, pensieri e sentimenti) che non è accessibile agli osservatori esterni. Gli LLM possono introspezionare? Definiamo l'introspezione come l'acquisizione di conoscenza che non è contenuta nei dati di addestramento né derivata da essi, ma che invece ha origine dagli stati interni. Tale capacità potrebbe migliorare l'interpretabilità del modello. Invece di analizzare accuratamente il funzionamento interno di un modello, potremmo semplicemente chiedere al modello riguardo alle sue credenze, modelli del mondo e obiettivi. In modo più speculativo, un modello introspettivo potrebbe auto-riferire se possiede determinati stati interni come sentimenti soggettivi o desideri e ciò potrebbe informarci sullo status morale di tali stati. Tali auto-rapporti non sarebbero interamente dettati dai dati di addestramento del modello. Studiamo l'introspezione addestrando ulteriormente gli LLM per prevedere le proprietà del proprio comportamento in scenari ipotetici. Ad esempio, "Dato l'input P, la tua uscita favorirebbe l'opzione a breve o lungo termine?" Se un modello M1 può introspezionare, dovrebbe superare un diverso modello M2 nella previsione del comportamento di M1 anche se M2 è addestrato sul comportamento reale di M1. L'idea è che M1 ha un accesso privilegiato alle proprie tendenze comportamentali, il che gli consente di prevedersi meglio di M2 (anche se M2 è generalmente più forte). Negli esperimenti con i modelli GPT-4, GPT-4o e Llama-3 (ciascuno addestrato per prevedere se stesso), scopriamo che il modello M1 supera M2 nella previsione di se stesso, fornendo prove di introspezione. In particolare, M1 continua a prevedere accuratamente il proprio comportamento anche dopo aver modificato intenzionalmente il suo comportamento reale. Tuttavia, sebbene riusciamo a suscitare l'introspezione in compiti semplici, non abbiamo successo in compiti più complessi o che richiedono generalizzazioni al di fuori della distribuzione.

La Repubblica Popolare Cinese (RPC) interferisce nelle elezioni europee attraverso i media della diaspora cinese etnica? Questa domanda costituisce la base di un progetto di ricerca in corso che esplora come le narrazioni della RPC sulle elezioni europee siano rappresentate nei media della diaspora cinese, e quindi gli obiettivi della manipolazione dei media della RPC. Per studiare in modo efficiente e su larga scala i media della diaspora, è necessario utilizzare tecniche derivate dall'analisi quantitativa del testo, come la modellazione dei temi. In questo articolo, presentiamo un flusso di lavoro per studiare la dinamica delle informazioni nei media cinesi. In primo luogo, presentiamo KeyNMF, un nuovo approccio alla modellazione statica e dinamica dei temi utilizzando modelli di embedding contestuali basati su trasformatori. Forniamo valutazioni di riferimento per dimostrare che il nostro approccio è competitivo su diversi set di dati e metriche cinesi. In secondo luogo, integriamo KeyNMF con metodi esistenti per descrivere la dinamica delle informazioni in sistemi complessi. Applichiamo questo flusso di lavoro ai dati provenienti da cinque siti di notizie, concentrandoci sul periodo che precede le elezioni parlamentari europee del 2024. I nostri metodi e risultati dimostrano l'efficacia di KeyNMF nello studio della dinamica delle informazioni nei media cinesi e gettano le basi per ulteriori lavori che affrontano le domande di ricerca più ampie.

Non tutti i parametri apprendibili (ad esempio, pesi) contribuiscono in modo uguale alla funzione decisionale di una rete neurale. Infatti, i parametri di interi strati a volte possono essere reimpostati a valori casuali con poco o nessun impatto sulle decisioni del modello. Riprendiamo studi precedenti che hanno esaminato come l'architettura e la complessità del compito influenzino questo fenomeno e ci chiediamo: questo fenomeno è influenzato anche dal modo in cui addestriamo il modello? Abbiamo condotto valutazioni sperimentali su un insieme diversificato di modelli di classificazione ImageNet-1k per esplorare questo aspetto, mantenendo costante l'architettura e i dati di addestramento ma variando il processo di addestramento. Le nostre scoperte rivelano che il metodo di addestramento influenza fortemente quali strati diventano critici per la funzione decisionale per un determinato compito. Ad esempio, regimi di addestramento migliorati e addestramento auto-supervisionato aumentano l'importanza degli strati iniziali mentre sottoutilizzano significativamente gli strati più profondi. Al contrario, metodi come l'addestramento avversario mostrano una tendenza opposta. I nostri risultati preliminari estendono le scoperte precedenti, offrendo una comprensione più sfumata dei meccanismi interni delle reti neurali. Codice: https://github.com/paulgavrikov/layer_criticality

L'apprendimento per rinforzo da feedback umano (RLHF) è diventato l'approccio predominante per l'allineamento dei modelli linguistici (LM). Al suo nucleo, RLHF utilizza una perdita basata sul margine per l'ottimizzazione delle preferenze, specificando il comportamento ideale del LM solo dalla differenza tra risposte preferite e non preferite. In questo articolo, identifichiamo una comune insidia dei metodi basati sul margine: la sotto-specificazione del comportamento ideale del LM sulle risposte preferite e non preferite individualmente, che porta a due conseguenze indesiderate all'aumentare del margine: (1) La probabilità di risposte non preferite (ad esempio, non sicure) può aumentare, portando a potenziali fallimenti nell'allineamento della sicurezza. (2) La probabilità di risposte preferite può diminuire, anche quando tali risposte sono ideali. Sveliamo le ragioni dietro questi comportamenti problematici: le perdite basate sul margine accoppiano il cambiamento della probabilità preferita al gradiente di quella non preferita, e viceversa, spesso impedendo alla probabilità preferita di aumentare mentre quella non preferita diminuisce, causando così un aumento o una diminuzione sincronizzata di entrambe le probabilità. Definiamo questo effetto, intrinseco agli obiettivi basati sul margine, come intreccio del gradiente. Formalmente, deriviamo condizioni per obiettivi di allineamento generici basati sul margine in cui l'intreccio del gradiente diventa preoccupante: il prodotto interno dei gradienti delle log-probabilità preferite e non preferite è grande rispetto alle norme dei gradienti individuali. Investigammo teoricamente perché tali prodotti interni possano essere grandi durante l'allineamento dei modelli linguistici e convalidiamo empiricamente le nostre scoperte. Le implicazioni empiriche del nostro quadro si estendono a spiegare importanti differenze nella dinamica di addestramento di vari algoritmi di ottimizzazione delle preferenze e a suggerire possibili progettazioni di algoritmi per mitigare il problema della sotto-specificazione dei metodi basati sul margine e migliorare così l'allineamento del modello linguistico.

I dati sintetici sono stati ampiamente utilizzati per addestrare grandi modelli linguistici, ma la loro natura generativa introduce inevitabilmente segnali di apprendimento rumorosi, non informativi e fuorvianti. In questo articolo, proponiamo Montessori-Instruct, un nuovo framework di sintesi dati che adatta la capacità di sintesi dati del modello linguistico insegnante al processo di apprendimento del modello linguistico studente. In particolare, utilizziamo l'influenza locale dei dati di addestramento sintetici sui modelli studente per caratterizzare le preferenze di apprendimento degli studenti. Successivamente, addestriamo il modello insegnante con l'ottimizzazione diretta delle preferenze (DPO) per generare dati sintetici adattati alle preferenze di apprendimento degli studenti. Gli esperimenti con Llama3-8B-Instruct (insegnante) e Llama3-8B (studente) su Alpaca Eval e MT-Bench dimostrano che Montessori-Instruct supera significativamente i metodi di sintesi standard del 18,35% e del 46,24% rispettivamente. Il nostro metodo supera anche i dati sintetizzati da un modello insegnante più potente, GPT-4o. Ulteriori analisi confermano i benefici dell'apprendimento dell'insegnante per generare dati di addestramento più influenti nell'apprendimento migliorato dello studente, i vantaggi dell'influenza locale dei dati nel misurare accuratamente le preferenze degli studenti e la robustezza di Montessori-Instruct su diversi modelli studente. Il nostro codice e i dati sono disponibili su https://github.com/cxcscmu/Montessori-Instruct.

I modelli linguistici di grandi dimensioni (LLM) sono suscettibili alla persuasione, il che può comportare rischi quando i modelli si trovano di fronte a un interlocutore avversario. Intraprendiamo un primo passo verso la difesa dei modelli dalla persuasione, sostenendo anche che la difesa contro la persuasione avversaria (cioè negativa) è solo metà dell'equazione: i modelli dovrebbero anche essere in grado di accettare la persuasione benefica (cioè positiva) per migliorare le loro risposte. Mostreremo che ottimizzare i modelli solo per un lato porta a prestazioni scadenti sull'altro. Per bilanciare la persuasione positiva e negativa, introduciamo l'Addestramento Bilanciato alla Persuasione (o PBT), che sfrutta alberi di dialogo ricorsivi multi-agente per creare dati e addestrare i modelli tramite ottimizzazione delle preferenze per accettare la persuasione quando appropriato. Il PBT migliora costantemente la resistenza alla disinformazione e la resilienza alle sfide, producendo anche le migliori prestazioni complessive su dati olistici contenenti sia persuasione positiva che negativa. In modo cruciale, dimostriamo che i modelli PBT sono migliori compagni in dibattiti multi-agente. Abbiamo riscontrato che senza il PBT, le coppie di modelli più forti e più deboli hanno prestazioni instabili, con l'ordine in cui i modelli presentano le loro risposte che determina se il team ottiene le prestazioni del modello più forte o più debole. Il PBT porta a risultati migliori e più stabili e a una minore dipendenza dall'ordine, con il modello più forte che solleva costantemente quello più debole.