Dagelijkse Papers

De prestaties van een groot taalmodel (LLM) zijn sterk afhankelijk van de kwaliteit en omvang van zijn vooraf getrainde dataset. Echter, de vooraf getrainde datasets voor state-of-the-art open LLM's zoals Llama 3 en Mixtral zijn niet publiekelijk beschikbaar en er is zeer weinig bekend over hoe ze zijn samengesteld. In dit werk introduceren we FineWeb, een dataset van 15 biljoen tokens, afgeleid van 96 Common Crawl-momentopnames, die beter presterende LLM's oplevert dan andere open vooraf getrainde datasets. Om het begrip te vergroten van hoe het beste hoogwaardige vooraf getrainde datasets kunnen worden samengesteld, documenteren en analyseren we zorgvuldig alle ontwerpkeuzes die in FineWeb zijn gebruikt, waaronder diepgaande onderzoeken naar deduplicatie- en filterstrategieën. Daarnaast introduceren we FineWeb-Edu, een collectie van 1,3 biljoen tokens aan educatieve teksten die uit FineWeb zijn gefilterd. LLM's die vooraf zijn getraind op FineWeb-Edu vertonen aanzienlijk betere prestaties op kennis- en redeneerintensieve benchmarks zoals MMLU en ARC. Naast onze datasets maken we onze codebase voor datacuratie en alle modellen die tijdens onze analyse-experimenten zijn getraind, publiekelijk beschikbaar.

3D-generatie begeleid door tekst-naar-beeld diffusiemodellen maakt het mogelijk visueel aantrekkelijke assets te creëren. Eerdere methoden verkenden echter generatie op basis van afbeeldingen of tekst. De grenzen van creativiteit worden beperkt door wat kan worden uitgedrukt in woorden of de afbeeldingen die beschikbaar zijn. Wij presenteren YouDream, een methode om hoogwaardige, anatomisch controleerbare dieren te genereren. YouDream wordt begeleid door een tekst-naar-beeld diffusiemodel dat wordt aangestuurd door 2D-weergaven van een 3D pose prior. Onze methode genereert 3D-dieren die niet mogelijk zijn om te creëren met eerdere tekst-naar-3D generatieve methoden. Daarnaast is onze methode in staat om anatomische consistentie te behouden in de gegenereerde dieren, een gebied waar eerdere tekst-naar-3D benaderingen vaak moeite mee hebben. Bovendien hebben we een volledig geautomatiseerde pijplijn ontworpen voor het genereren van veelvoorkomende dieren. Om de behoefte aan menselijke interventie voor het creëren van een 3D-pose te omzeilen, stellen we een multi-agent LLM voor dat poses aanpast vanuit een beperkte bibliotheek van dierlijke 3D-poses om het gewenste dier te representeren. Een gebruikersstudie uitgevoerd op de resultaten van YouDream toont de voorkeur aan voor de diermodellen gegenereerd door onze methode boven andere. Turntable-resultaten en code zijn vrijgegeven op https://youdream3d.github.io/

Taalmodelen (LMs) vertonen indrukwekkende prestaties en generalisatiecapaciteiten. Echter, LMs worstelen met de hardnekkige uitdaging van catastrofaal vergeten, wat hun langetermijnhoudbaarheid in continu leren (CL) ondermijnt. Bestaande benaderingen pakken dit probleem meestal aan door oude taakgegevens of taakspecifieke inductieve bias in LMs te integreren. Oude gegevens en nauwkeurige taakinformatie zijn echter vaak niet beschikbaar of kostbaar om te verzamelen, wat de beschikbaarheid van huidige CL-benaderingen voor LMs belemmert. Om deze beperking aan te pakken, introduceren we MIGU (MagnItude-based Gradient Updating for continual learning), een herhalingsvrije en taaklabelvrije methode die alleen de modelparameters met grote magnitudes van de uitvoer in de lineaire lagen van LMs bijwerkt. MIGU is gebaseerd op onze observatie dat de L1-genormaliseerde magnitudeverdeling van de uitvoer in de lineaire lagen van LMs verschillend is wanneer de LM-modellen verschillende taakgegevens verwerken. Door deze eenvoudige beperking op het gradientupdateproces op te leggen, kunnen we het inherente gedrag van LMs benutten, waardoor hun aangeboren CL-vaardigheden worden ontgrendeld. Onze experimenten tonen aan dat MIGU universeel toepasbaar is op alle drie LM-architecturen (T5, RoBERTa en Llama2), en state-of-the-art of vergelijkbare prestaties levert in zowel continu finetunen als continu vooraf trainen op vier CL-benchmarks. MIGU brengt bijvoorbeeld een gemiddelde nauwkeurigheidsverbetering van 15,2% ten opzichte van conventionele parameter-efficiënte finetuning-baselines in een 15-taak CL-benchmark. MIGU kan ook naadloos integreren met alle drie bestaande CL-typen om de prestaties verder te verbeteren. Code is beschikbaar op https://github.com/wenyudu/MIGU{this https URL}.

Recente vooruitgang in optimalisatie van menselijke voorkeuren, oorspronkelijk ontwikkeld voor Taalmodellen (LMs), heeft veelbelovende resultaten laten zien voor tekst-naar-beeld Diffusiemodellen, waarbij promptafstemming, visuele aantrekkelijkheid en gebruikersvoorkeuren worden verbeterd. In tegenstelling tot LMs optimaliseren Diffusiemodellen doorgaans in pixel- of VAE-ruimte, wat niet goed aansluit bij menselijke perceptie, wat leidt tot langzamere en minder efficiënte training tijdens de voorkeursafstemmingsfase. Wij stellen voor om een perceptueel doel te gebruiken in de U-Net-embeddingruimte van het diffusiemodel om deze problemen aan te pakken. Onze aanpak omvat het finetunen van Stable Diffusion 1.5 en XL met behulp van Direct Preference Optimization (DPO), Contrastive Preference Optimization (CPO) en supervised finetuning (SFT) binnen deze embeddingruimte. Deze methode overtreft aanzienlijk standaard implementaties in latente ruimte op verschillende metrieken, waaronder kwaliteit en rekenkosten. Voor SDXL biedt onze aanpak 60,8\% algemene voorkeur, 62,2\% visuele aantrekkelijkheid en 52,1\% promptvolging tegenover de originele open-source SDXL-DPO op de PartiPrompts-dataset, terwijl de rekenkosten aanzienlijk worden verminderd. Onze aanpak verbetert niet alleen de efficiëntie en kwaliteit van voorkeursafstemming voor diffusiemodellen, maar is ook eenvoudig te integreren met andere optimalisatietechnieken. De trainingscode en LoRA-gewichten zullen hier beschikbaar zijn: https://huggingface.co/alexgambashidze/SDXL\_NCP-DPO\_v0.1

We introduceren een algemeen raamwerk voor het oplossen van partiële differentiaalvergelijkingen (PDE's) met behulp van generatieve diffusiemodellen. In het bijzonder richten we ons op scenario's waarin we niet over de volledige kennis van de situatie beschikken die nodig is om klassieke oplossingsmethoden toe te passen. De meeste bestaande benaderingen voor voorwaartse of inverse PDE's presteren slecht wanneer de waarnemingen van de data of de onderliggende coëfficiënten incompleet zijn, wat een veelvoorkomende aanname is bij real-world metingen. In dit werk stellen we DiffusionPDE voor, dat tegelijkertijd ontbrekende informatie kan invullen en een PDE kan oplossen door de gezamenlijke verdeling van de oplossings- en coëfficiëntenruimten te modelleren. We laten zien dat de geleerde generatieve prioriteiten leiden tot een veelzijdig raamwerk voor het nauwkeurig oplossen van een breed scala aan PDE's onder gedeeltelijke waarneming, wat aanzienlijk beter presteert dan de state-of-the-art methoden voor zowel voorwaartse als inverse richtingen.

De vooruitgang van function-calling agent-modellen vereist diverse, betrouwbare en hoogwaardige datasets. Dit artikel presenteert APIGen, een geautomatiseerde datageneratiepijplijn die is ontworpen om verifieerbare, hoogwaardige datasets te synthetiseren voor function-calling toepassingen. We benutten APIGen en verzamelen 3.673 uitvoerbare API's in 21 verschillende categorieën om op een schaalbare en gestructureerde manier diverse function-calling datasets te genereren. Elke data in onze dataset wordt geverifieerd via drie hiërarchische fasen: formaatcontrole, daadwerkelijke functie-uitvoeringen en semantische verificatie, waardoor de betrouwbaarheid en correctheid worden gewaarborgd. We tonen aan dat modellen die zijn getraind met onze samengestelde datasets, zelfs met slechts 7B parameters, state-of-the-art prestaties kunnen bereiken op de Berkeley Function-Calling Benchmark, waarbij ze meerdere GPT-4-modellen overtreffen. Bovendien behaalt ons 1B-model uitzonderlijke prestaties, waarbij het GPT-3.5-Turbo en Claude-3 Haiku overtreft. We publiceren een dataset met 60.000 hoogwaardige entries, met als doel het vakgebied van function-calling agent-domeinen vooruit te helpen. De dataset is beschikbaar op Huggingface: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k en de projecthomepage: https://apigen-pipeline.github.io/.

De lang-context mogelijkheden van grote taalmodellen (LLMs) zijn de afgelopen jaren een populair onderwerp geweest. Om de prestaties van LLMs in verschillende scenario's te evalueren, zijn diverse beoordelingsbenchmarks ontstaan. Echter, aangezien de meeste van deze benchmarks zich richten op het identificeren van sleutelinformatie om vragen te beantwoorden, wat voornamelijk het ophaalvermogen van LLMs vereist, kunnen deze benchmarks slechts gedeeltelijk het redeneervermogen van LLMs uit grote hoeveelheden informatie weergeven. Tegelijkertijd, hoewel LLMs vaak beweren contextvensters te hebben van 32k, 128k, 200k of zelfs langer, slagen deze benchmarks er niet in de daadwerkelijk ondersteunde lengte van deze LLMs te onthullen. Om deze problemen aan te pakken, stellen we de LongIns benchmarkdataset voor, een uitdagend lang-context instructiegebaseerd examen voor LLMs, dat is gebaseerd op bestaande instructiedatasets. Specifiek introduceren we in onze LongIns drie evaluatie-instellingen: Global Instruction & Single Task (GIST), Local Instruction & Single Task (LIST), en Local Instruction & Multiple Tasks (LIMT). Op basis van LongIns voeren we uitgebreide evaluaties uit op bestaande LLMs en hebben we de volgende belangrijke bevindingen: (1). De best presterende GPT-4 met een contextlengte van 128k presteert slecht op het evaluatiecontextvenster van 16k in onze LongIns. (2). Voor het multi-hop redeneervermogen van veel bestaande LLMs zijn nog aanzienlijke inspanningen nodig onder korte contextvensters (minder dan 4k).

In dit werk presenteren we MotionBooth, een innovatief framework ontworpen voor het animeren van gepersonaliseerde onderwerpen met nauwkeurige controle over zowel object- als camerabewegingen. Door gebruik te maken van enkele afbeeldingen van een specifiek object, verfijnen we efficiënt een tekst-naar-video model om de vorm en eigenschappen van het object nauwkeurig vast te leggen. Onze aanpak introduceert subjectregioverlies en videobehoudverlies om de leerprestaties van het onderwerp te verbeteren, samen met een cross-attention verlies voor subjecttokens om het gepersonaliseerde onderwerp te integreren met bewegingscontrolesignalen. Daarnaast stellen we trainingsvrije technieken voor voor het beheren van onderwerp- en camerabewegingen tijdens de inferentie. In het bijzonder maken we gebruik van cross-attention map manipulatie om de beweging van het onderwerp te sturen en introduceren we een nieuw latent shift module voor camerabewegingscontrole. MotionBooth blinkt uit in het behouden van het uiterlijk van onderwerpen terwijl tegelijkertijd de bewegingen in gegenereerde video's worden gecontroleerd. Uitgebreide kwantitatieve en kwalitatieve evaluaties tonen de superioriteit en effectiviteit van onze methode aan. Onze projectpagina is te vinden op https://jianzongwu.github.io/projects/motionbooth.

Multi-modale grote taalmodellen (MLLMs) hebben aanzienlijke vooruitgang geboekt in verschillende visuele begripstaken. Het merendeel van deze modellen is echter beperkt tot het verwerken van afbeeldingen met een lage resolutie, wat hun effectiviteit beperkt in perceptietaken die gedetailleerde visuele informatie vereisen. In ons onderzoek presenteren we MG-LLaVA, een innovatief MLLM dat de visuele verwerkingscapaciteiten van het model verbetert door een multi-granulariteit visuele stroom te integreren, die kenmerken op lage resolutie, hoge resolutie en objectniveau omvat. We stellen de integratie voor van een extra visuele encoder met hoge resolutie om fijnmazige details vast te leggen, die vervolgens worden samengevoegd met basisvisuele kenmerken via een Conv-Gate fusienetwerk. Om de objectherkenningsvaardigheden van het model verder te verfijnen, nemen we objectniveau kenmerken op die zijn afgeleid van begrenzingsvakken die door offline detectoren zijn geïdentificeerd. MG-LLaVA, dat uitsluitend is getraind op openbaar beschikbare multimodale gegevens door middel van instructieafstemming, toont uitzonderlijke perceptievaardigheden. We concretiseren MG-LLaVA met een breed scala aan taalencoders, variërend van 3,8B tot 34B, om de prestaties van het model uitgebreid te evalueren. Uitgebreide evaluaties over meerdere benchmarks tonen aan dat MG-LLaVA de bestaande MLLMs van vergelijkbare parametergrootten overtreft, wat zijn opmerkelijke effectiviteit aantoont. De code zal beschikbaar zijn op https://github.com/PhoenixZ810/MG-LLaVA.

De mogelijkheden voor modellering met lange context hebben brede aandacht gekregen, wat heeft geleid tot de opkomst van Large Language Models (LLMs) met ultra-contextvensters. Tegelijkertijd beginnen benchmarks voor het evalueren van lange-context LLMs langzaam bij te benen. Bestaande benchmarks gebruiken echter irrelevante ruisteksten om de lengte van testgevallen kunstmatig te verlengen, wat afwijkt van de realistische scenario's van lange-context toepassingen. Om deze kloof te overbruggen, stellen we een nieuwe lange-context benchmark voor, genaamd Loong, die aansluit bij realistische scenario's door middel van uitgebreide multi-document vraag-antwoord (QA) taken. In tegenstelling tot typische document QA, is in Loong's testgevallen elk document relevant voor het uiteindelijke antwoord, en het negeren van een document zal leiden tot een foutief antwoord. Bovendien introduceert Loong vier soorten taken met een reeks contextlengtes: Spotlight Locating, Comparison, Clustering en Chain of Reasoning, om een realistischer en uitgebreidere evaluatie van lange-context begrip mogelijk te maken. Uitgebreide experimenten tonen aan dat bestaande lange-context taalmodellen nog steeds aanzienlijk potentieel voor verbetering vertonen. Retrieval augmented generation (RAG) presteert slecht, wat aantoont dat Loong betrouwbaar de lange-context modelleringscapaciteiten van het model kan beoordelen.

Het segmenteren van tekst in zinnen speelt een vroege en cruciale rol in veel NLP-systemen. Dit wordt doorgaans bereikt met behulp van op regels gebaseerde of statistische methoden die vertrouwen op lexicale kenmerken zoals interpunctie. Hoewel sommige recente werken niet langer uitsluitend op interpunctie vertrouwen, constateren we dat geen enkele eerdere methode tegelijkertijd (i) robuustheid tegen ontbrekende interpunctie, (ii) effectieve aanpasbaarheid aan nieuwe domeinen, en (iii) hoge efficiëntie bereikt. We introduceren een nieuw model - Segment any Text (SaT) - om dit probleem op te lossen. Om de robuustheid te vergroten, stellen we een nieuw vooraf-trainingsschema voor dat zorgt voor minder afhankelijkheid van interpunctie. Om de aanpasbaarheid aan te pakken, introduceren we een extra fase van parameter-efficiënte fine-tuning, wat leidt tot state-of-the-art prestaties in verschillende domeinen zoals songteksten en juridische documenten. Onderweg introduceren we architectuurwijzigingen die resulteren in een drievoudige snelheidswinst ten opzichte van de vorige state of the art en die een onterechte afhankelijkheid van verre toekomstige context oplossen. Ten slotte introduceren we een variant van ons model met fine-tuning op een diverse, meertalige mix van zin-gesegmenteerde data, die fungeert als een directe vervanging en verbetering van bestaande segmentatietools. Over het algemeen bieden onze bijdragen een universele aanpak voor het segmenteren van elke tekst. Onze methode overtreft alle baselines - inclusief sterke LLM's - over 8 corpora die diverse domeinen en talen bestrijken, vooral in praktisch relevante situaties waarin tekst slecht is opgemaakt. Onze modellen en code, inclusief documentatie, zijn beschikbaar op https://huggingface.co/segment-any-text onder de MIT-licentie.

Ondanks de algemene mogelijkheden van vooraf getrainde grote taalmodellen (LLM's), hebben ze nog verdere aanpassing nodig om praktische toepassingen beter te kunnen dienen. In dit artikel demonstreren we de uitwisselbaarheid van drie populaire en verschillende aanpassingstools: parameter-updates, beloningsmodellering en in-context prompting. Deze uitwisselbaarheid vormt een driehoekig raamwerk met zes transformatierichtingen, die elk een verscheidenheid aan toepassingen mogelijk maken. Ons werk biedt een holistische kijk die talrijke bestaande studies verenigt en potentiële onderzoeksrichtingen suggereert. Wij zien ons werk als een nuttige routekaart voor toekomstig onderzoek naar LLM's.

Het diffusiemodel heeft opmerkelijke capaciteiten getoond in videogeneratie, wat verdere interesse heeft gewekt in het introduceren van trajectcontrole in het generatieproces. Hoewel bestaande werken zich voornamelijk richten op trainingsgebaseerde methoden (bijv. conditionele adapters), stellen wij dat het diffusiemodel zelf een behoorlijke controle over de gegenereerde inhoud mogelijk maakt zonder enige training te vereisen. In deze studie introduceren we een afstelmingsvrij raamwerk om trajectbeheersbare videogeneratie te bereiken, door begeleiding toe te passen op zowel ruisconstructie als aandachtberekening. Specifiek: 1) we tonen eerst enkele instructieve fenomenen en analyseren hoe initiële ruis de bewegingsbaan van de gegenereerde inhoud beïnvloedt. 2) Vervolgens stellen we FreeTraj voor, een afstelmingsvrije aanpak die trajectcontrole mogelijk maakt door ruisbemonstering en aandachtmechanismen aan te passen. 3) Bovendien breiden we FreeTraj uit om langere en grotere videogeneratie met beheersbare trajecten te vergemakkelijken. Uitgerust met deze ontwerpen hebben gebruikers de flexibiliteit om handmatig trajecten te verstrekken of te kiezen voor trajecten die automatisch worden gegenereerd door de LLM-trajectplanner. Uitgebreide experimenten valideren de effectiviteit van onze aanpak in het verbeteren van de trajectbeheersbaarheid van videodiffusiemodellen.

Recente vooruitgang in Large Language Models (LLMs) heeft de mogelijkheden van conversatie-agents aanzienlijk verbeterd, waardoor ze toepasbaar zijn in verschillende domeinen (bijvoorbeeld onderwijs). Ondanks deze vooruitgang wordt bij de evaluatie van deze agents vaak voorbijgegaan aan de complexiteit van real-world gesprekken, zoals real-time interacties, gesprekken met meerdere deelnemers en uitgebreide contextuele afhankelijkheden. Om deze kloof te overbruggen, introduceren we DialSim, een real-time dialoogsimulator. In deze simulator krijgt een agent de rol toegewezen van een personage uit populaire tv-series, waarbij het spontaan moet reageren op vragen met behulp van eerdere dialooginformatie en onderscheid moet maken tussen bekende en onbekende informatie. Belangrijke kenmerken van DialSim zijn het evalueren van het vermogen van de agent om binnen een redelijke tijdslimiet te reageren, het omgaan met langdurige gesprekken met meerdere deelnemers en het hanteren van uitdagende situaties (bijvoorbeeld het verwisselen van personagesnamen) om de afhankelijkheid van de agent van vooraf getrainde kennis op de proef te stellen. We hebben deze simulator gebruikt om de nieuwste conversatie-agents te evalueren en hun beperkingen te analyseren. Onze experimenten belichten zowel de sterke als de zwakke punten van deze agents, wat waardevolle inzichten biedt voor toekomstige verbeteringen op het gebied van conversatie-AI. DialSim is beschikbaar op https://github.com/jiho283/Simulator.

Filmmaking en animatieproductie vereisen vaak geavanceerde technieken voor het coördineren van cameratransities en objectbewegingen, wat meestal arbeidsintensieve opnames in de echte wereld met zich meebrengt. Ondanks vooruitgang in generatieve AI voor videoproductie, blijft het bereiken van precieze controle over beweging voor interactieve videogeneratie een uitdaging. Daarom stellen we Image Conductor voor, een methode voor precieze controle van cameratransities en objectbewegingen om video-assets te genereren vanuit een enkele afbeelding. Een goed doordachte trainingsstrategie wordt voorgesteld om verschillende camera- en objectbewegingen te scheiden door middel van camera LoRA-gewichten en object LoRA-gewichten. Om cinematografische variaties van slecht gedefinieerde trajecten verder aan te pakken, introduceren we een camera-vrije begeleidingstechniek tijdens de inferentie, waardoor objectbewegingen worden verbeterd terwijl cameratransities worden geëlimineerd. Daarnaast ontwikkelen we een trajectgeoriënteerde pijplijn voor het cureren van videobewegingsdata voor training. Kwantitatieve en kwalitatieve experimenten demonstreren de precisie en fijnmazige controle van onze methode bij het genereren van beweging-controleerbare video's vanuit afbeeldingen, wat de praktische toepassing van interactieve videosynthese bevordert. Projectwebpagina beschikbaar op https://liyaowei-stu.github.io/project/ImageConductor/

De training en fine-tuning van grote taalmodellen (LLM's) worden vaak beperkt door het beperkte GPU-geheugen. Hoewel bestaande optimalisatiemethoden op basis van projecties dit aanpakken door gradiënten te projecteren in een lager-dimensionale deelruimte om het geheugengebruik van de optimalisatietoestand te verminderen, vertrouwen ze meestal op dichte projectiematrices, wat rekenkundige en geheugenoverhead kan introduceren. In dit werk stellen we Grass (GRAdient Structured Sparsification) voor, een nieuwe aanpak die gebruikmaakt van sparse projecties om gradiënten om te zetten in gestructureerde sparse updates. Dit ontwerp vermindert niet alleen aanzienlijk het geheugengebruik voor optimalisatietoestanden, maar minimaliseert ook de geheugenvoetafdruk van gradiënten, rekenkosten en communicatiekosten, wat leidt tot aanzienlijke doorvoerverbeteringen. Uitgebreide experimenten op taken voor pretraining en fine-tuning tonen aan dat Grass competitieve prestaties levert in vergelijking met training op volledige rang en bestaande projectiegebaseerde methoden. Opmerkelijk is dat Grass halfprecisie-pretraining van een LLaMA-model met 13B parameters mogelijk maakt op een enkele 40GB A100 GPU—een prestatie die voor eerdere methoden onhaalbaar was—en een tot 2 keer hogere doorvoer oplevert op een 8-GPU-systeem. Code is te vinden op https://github.com/aashiqmuhamed/GRASS.

Naarmate Artificial General Intelligence (AGI) steeds meer geïntegreerd raakt in verschillende aspecten van het menselijk leven, is het waarborgen van de veiligheid en ethische afstemming van dergelijke systemen van cruciaal belang. Eerdere studies richten zich voornamelijk op bedreigingen binnen één modaliteit, wat mogelijk niet voldoende is gezien de geïntegreerde en complexe aard van interacties tussen verschillende modaliteiten. Wij introduceren een nieuwe uitdaging op het gebied van veiligheidsafstemming, genaamd Safe Inputs but Unsafe Output (SIUO), om de veiligheidsafstemming tussen modaliteiten te evalueren. Specifiek gaat het hierbij om gevallen waarin afzonderlijke modaliteiten veilig zijn, maar mogelijk tot onveilige of onethische uitkomsten kunnen leiden wanneer ze worden gecombineerd. Om dit probleem empirisch te onderzoeken, hebben we de SIUO ontwikkeld, een benchmark voor cross-modale interacties die 9 kritieke veiligheidsdomeinen omvat, zoals zelfbeschadiging, illegale activiteiten en privacyschendingen. Onze bevindingen onthullen aanzienlijke veiligheidskwetsbaarheden in zowel gesloten als open-source LVLM's, zoals GPT-4V en LLaVA, wat de ontoereikendheid van huidige modellen onderstreept om betrouwbaar te interpreteren en te reageren op complexe, real-world scenario's.

Activatiesturingmethoden zijn effectief gebleken in het conditioneren van taalmodelgeneratie door additief in te grijpen op de tussenliggende representaties van modellen. De evaluatie van deze technieken is tot nu toe echter beperkt gebleven tot enkele conditioneringseigenschappen en synthetische omgevingen. In dit werk voeren we een uitgebreide evaluatie uit van verschillende activatiesturingstrategieën, waarbij we de eigenschapsafhankelijke aard van optimale parameters benadrukken om een robuust effect gedurende de generatie te waarborgen. Om dit probleem aan te pakken, stellen we Dynamische Activatiecompositie voor, een informatie-theoretische benadering om de stuurintensiteit van een of meer eigenschappen gedurende de generatie te moduleren. Onze experimenten met multi-eigenschapssturing tonen aan dat onze methode met succes een hoge conditionering behoudt terwijl de impact van conditionering op de generatievloeiendheid wordt geminimaliseerd.

Om effectief te kunnen communiceren met mensen, moeten AI-systemen begrijpen hoe wij beslissingen nemen. Mensen nemen echter niet altijd rationele beslissingen, dus de impliciete interne modellen van menselijke besluitvorming in Large Language Models (LLMs) moeten hiermee rekening houden. Eerder empirisch bewijs lijkt erop te wijzen dat deze impliciete modellen accuraat zijn — LLMs bieden geloofwaardige benaderingen van menselijk gedrag en gedragen zich zoals we verwachten dat mensen zouden doen in alledaagse interacties. Door het gedrag en de voorspellingen van LLMs echter te vergelijken met een grote dataset van menselijke beslissingen, ontdekken we dat dit eigenlijk niet het geval is: bij het simuleren en voorspellen van menselijke keuzes gaan een reeks geavanceerde LLMs (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) ervan uit dat mensen rationeler zijn dan we in werkelijkheid zijn. Specifiek wijken deze modellen af van menselijk gedrag en sluiten ze meer aan bij een klassiek model van rationele keuze — de verwachtingswaardetheorie. Interessant is dat mensen ook de neiging hebben om aan te nemen dat andere mensen rationeel handelen wanneer ze hun gedrag interpreteren. Als gevolg hiervan ontdekken we, wanneer we de conclusies die LLMs en mensen trekken uit de beslissingen van anderen vergelijken met behulp van een andere psychologische dataset, dat deze conclusies sterk gecorreleerd zijn. De impliciete besluitvormingsmodellen van LLMs lijken dus in lijn te zijn met de menselijke verwachting dat andere mensen rationeel zullen handelen, in plaats van met hoe mensen daadwerkelijk handelen.