Täglich kuratierte KI-Forschungspapiere mit Übersetzungen
Benchmarks sind wichtige Werkzeuge zur Verfolgung der schnellen Fortschritte bei den Fähigkeiten großer Sprachmodelle (LLMs). Allerdings halten Benchmarks nicht mit der Schwierigkeit Schritt: LLMs erreichen mittlerweile über 90\% Genauigkeit bei beliebten Benchmarks wie MMLU, was die informierte Messung der modernsten LLM-Fähigkeiten einschränkt. Als Reaktion darauf führen wir Humanity's Last Exam (HLE) ein, einen multimodalen Benchmark an der Grenze des menschlichen Wissens, der als abschließender geschlossener akademischer Benchmark seiner Art mit breiter Fachabdeckung konzipiert ist. HLE besteht aus 3.000 Fragen zu Dutzenden von Themen, darunter Mathematik, Geisteswissenschaften und Naturwissenschaften. HLE wird weltweit von Fachexperten entwickelt und besteht aus Multiple-Choice- und Kurzantwortfragen, die für die automatisierte Bewertung geeignet sind. Jede Frage hat eine bekannte Lösung, die eindeutig und leicht überprüfbar ist, aber nicht schnell über Internetrecherche beantwortet werden kann. Modernste LLMs zeigen eine geringe Genauigkeit und Kalibrierung bei HLE, was eine signifikante Kluft zwischen den aktuellen LLM-Fähigkeiten und der Expertengrenze des Menschen bei geschlossenen akademischen Fragen aufzeigt. Um Forschung und politische Entscheidungsfindung auf der Grundlage eines klaren Verständnisses der Modellfähigkeiten zu unterstützen, veröffentlichen wir HLE öffentlich unter https://lastexam.ai.
Dieses Paper stellt einen Ansatz zur Schulung von o1-ähnlichen RAG-Modellen vor, die relevante Informationen schrittweise abrufen und begründen, bevor sie die endgültige Antwort generieren. Herkömmliche RAG-Methoden führen in der Regel einen einzigen Abrufschritt vor dem Generierungsprozess durch, was ihre Wirksamkeit bei der Bearbeitung komplexer Abfragen aufgrund unvollkommener Abrufergebnisse einschränkt. Im Gegensatz dazu ermöglicht unsere vorgeschlagene Methode, CoRAG (Chain-of-Retrieval Augmented Generation), dem Modell, die Abfrage basierend auf dem sich entwickelnden Zustand dynamisch umzuformulieren. Um CoRAG effektiv zu trainieren, nutzen wir Ablehnungsabtastung, um automatisch Zwischenabrufketten zu generieren und bestehende RAG-Datensätze zu erweitern, die nur die korrekte endgültige Antwort liefern. Zur Testzeit schlagen wir verschiedene Dekodierungsstrategien vor, um die Testzeitberechnung des Modells zu skalieren, indem wir die Länge und Anzahl der abgetasteten Abrufketten steuern. Experimentelle Ergebnisse über mehrere Benchmarks bestätigen die Wirksamkeit von CoRAG, insbesondere bei Frage-Antwort-Aufgaben mit mehreren Schritten, wo wir im Vergleich zu starken Baselines eine Verbesserung des EM-Scores um mehr als 10 Punkte beobachten. Auf dem KILT-Benchmark etabliert CoRAG eine neue Bestleistung über eine vielfältige Palette von wissensintensiven Aufgaben. Darüber hinaus bieten wir umfassende Analysen an, um das Skalierungsverhalten von CoRAG zu verstehen und so die Grundlage für zukünftige Forschung zur Entwicklung von faktischen und fundierten Grundlagenmodellen zu legen.
Kritiken sind wichtig zur Verbesserung der Leistung von Large Language Models (LLMs), die sowohl Selbstverbesserung als auch konstruktives Feedback für andere ermöglichen, indem sie Mängel identifizieren und Verbesserungen vorschlagen. Die Bewertung der Kritikfähigkeiten von LLMs stellt jedoch aufgrund der offenen Natur der Aufgabe eine bedeutende Herausforderung dar. In dieser Arbeit stellen wir einen neuen Benchmark vor, der entwickelt wurde, um die Kritikfähigkeiten von LLMs zu bewerten. Im Gegensatz zu bestehenden Benchmarks, die typischerweise in einer offenen Schleife funktionieren, verwendet unser Ansatz eine geschlossene Methodik, die die Qualität der Korrekturen bewertet, die aus Kritiken generiert werden. Darüber hinaus beinhaltet der Benchmark Funktionen wie Selbstkritik, Kreuzkritik und iterative Kritik, die entscheidend sind, um die Fähigkeiten von fortgeschrittenen Denkmodellen von klassischeren Modellen zu unterscheiden. Wir implementieren diesen Benchmark anhand von acht anspruchsvollen Denkaufgaben. Wir haben mehrere interessante Ergebnisse. Erstens, obwohl klassische LLMs eine vergleichbare Leistung bei der direkten Gedankengenerierung aufweisen, hinken sie in allen Kritikszenarien signifikant hinter dem auf fortgeschrittenem Denken basierenden Modell o1-mini zurück. Zweitens können klassische LLMs in den Einstellungen für Selbstkritik und iterative Kritik sogar im Vergleich zu ihren Grundfähigkeiten unterdurchschnittlich abschneiden. Wir hoffen, dass dieser Benchmark als wertvolle Ressource dienen wird, um zukünftige Fortschritte zu lenken. Der Code und die Daten sind verfügbar unter https://github.com/tangzhy/RealCritic.
Mit der schnellen Iteration von Multi-Modalen Großen Sprachmodellen (MLLMs) und den sich entwickelnden Anforderungen des Feldes ist die Anzahl der jährlich erstellten Benchmarks auf Hunderte angestiegen. Das rasche Wachstum hat zwangsläufig zu erheblicher Redundanz unter den Benchmarks geführt. Daher ist es entscheidend, einen Schritt zurückzutreten, den aktuellen Stand der Redundanz kritisch zu bewerten und gezielte Prinzipien für die Konstruktion effektiver MLLM-Benchmarks vorzuschlagen. In diesem Paper konzentrieren wir uns auf Redundanz aus drei wesentlichen Perspektiven: 1) Redundanz der Benchmark-Fähigkeitsdimensionen, 2) Redundanz in der Anzahl der Testfragen und 3) Cross-Benchmark-Redundanz innerhalb spezifischer Domänen. Durch die umfassende Analyse von Hunderten von MLLMs-Leistungen über mehr als 20 Benchmarks hinweg zielen wir darauf ab, das Ausmaß der Redundanz in bestehenden MLLM-Evaluationen quantitativ zu messen, wertvolle Einblicke zur Leitung der zukünftigen Entwicklung von MLLM-Benchmarks zu bieten und Strategien zur effektiven Überarbeitung und Bewältigung von Redundanzproblemen anzubieten.
Was wäre, wenn künstliche Intelligenz nicht nur Probleme lösen könnte, für die sie trainiert wurde, sondern auch lernen könnte, sich selbst beizubringen, neue Probleme zu lösen (d. h. Meta-Lernen)? In dieser Studie zeigen wir, dass ein vorab trainierter Transformer, der mit Verstärkungslernen über mehrere Episoden feinabgestimmt wurde, die Fähigkeit entwickelt, Probleme zu lösen, die ihm zuvor noch nie begegnet sind - eine aufkommende Fähigkeit namens In-Context Reinforcement Learning (ICRL). Dieser leistungsstarke Meta-Lerner überzeugt nicht nur bei der Lösung von unbekannten Umgebungen mit bemerkenswerter Stichprobeneffizienz, sondern zeigt auch eine starke Leistung in Umgebungen außerhalb der Verteilung. Darüber hinaus zeigen wir, dass er robust gegenüber der Qualität seiner Trainingsdaten ist, Verhaltensweisen nahtlos aus seinem Kontext zusammenfügt und sich an nicht-stationäre Umgebungen anpasst. Diese Verhaltensweisen zeigen, dass ein mit RL trainierter Transformer iterativ seine eigenen Lösungen verbessern kann, was ihn zu einem hervorragenden Problemlöser für allgemeine Zwecke macht.
Wir schlagen Relightable Full-Body Gaussian Codec Avatare vor, einen neuen Ansatz zur Modellierung von relightbaren Ganzkörper-Avataren mit fein abgestuften Details, einschließlich Gesicht und Hände. Die einzigartige Herausforderung bei der Neubeleuchtung von Ganzkörper-Avataren liegt in den großen Verformungen, die durch die Körpergelenke verursacht werden, und den daraus resultierenden Auswirkungen auf das Erscheinungsbild durch Lichttransport. Veränderungen in der Körperhaltung können die Orientierung der Körperoberflächen in Bezug auf Lichter dramatisch verändern, was sowohl lokale Erscheinungsänderungen aufgrund von Veränderungen in lokalen Lichttransportfunktionen als auch nichtlokale Änderungen aufgrund von Okklusionen zwischen Körperteilen zur Folge hat. Um dies zu bewältigen, zerlegen wir den Lichttransport in lokale und nichtlokale Effekte. Lokale Erscheinungsänderungen werden unter Verwendung erlernbarer Zonenharmoniken für diffuse Strahlungstransfers modelliert. Im Gegensatz zu Kugelharmoniken sind Zonenharmoniken äußerst effizient bei der Rotation unter Gelenkbewegungen. Dies ermöglicht es uns, den diffusen Strahlungstransfer in einem lokalen Koordinatensystem zu erlernen, was den lokalen Strahlungstransfer von der Gelenkbewegung des Körpers trennt. Um nichtlokale Erscheinungsänderungen zu berücksichtigen, führen wir ein Schattenetzwerk ein, das Schatten vorhersagt, basierend auf vorberechneter einfallender Strahlung auf einem Basisnetz. Dies erleichtert das Erlernen von nichtlokalem Schattenwurf zwischen den Körperteilen. Schließlich verwenden wir einen verzögerten Shading-Ansatz, um den spekularen Strahlungstransfer zu modellieren und Reflexionen und Highlights wie Augenreflexionen besser einzufangen. Wir zeigen, dass unser Ansatz erfolgreich sowohl den lokalen als auch den nichtlokalen Lichttransport modelliert, der für relightbare Ganzkörper-Avatare erforderlich ist, mit einer überlegenen Verallgemeinerungsfähigkeit unter neuen Beleuchtungsbedingungen und unbekannten Posen.
Gesundheitssysteme erzeugen kontinuierlich große Mengen an elektronischen Gesundheitsakten (EHRs), die üblicherweise im Standard für schnelle Gesundheitsinteroperabilität (FHIR) gespeichert sind. Trotz des Reichtums an Informationen in diesen Aufzeichnungen erschweren ihre Komplexität und Menge es den Benutzern, entscheidende Gesundheitseinblicke abzurufen und zu interpretieren. Neueste Fortschritte in Large Language Models (LLMs) bieten eine Lösung, die semantische Fragebeantwortung (QA) über medizinische Daten ermöglicht und es den Benutzern ermöglicht, effektiver mit ihren Gesundheitsakten zu interagieren. Die Sicherstellung von Datenschutz und Einhaltung erfordert jedoch Edge- und private Bereitstellungen von LLMs. Dieser Artikel schlägt einen neuartigen Ansatz zur semantischen QA über EHRs vor, indem zunächst die relevantesten FHIR-Ressourcen für eine Benutzeranfrage identifiziert werden (Aufgabe 1) und anschließend die Anfrage basierend auf diesen Ressourcen beantwortet wird (Aufgabe 2). Wir untersuchen die Leistung von privat gehosteten, feinabgestimmten LLMs und evaluieren sie im Vergleich zu Benchmark-Modellen wie GPT-4 und GPT-4o. Unsere Ergebnisse zeigen, dass feinabgestimmte LLMs, obwohl sie um den Faktor 250 kleiner sind, die Modelle der GPT-4-Familie um 0,55 % im F1-Score in Aufgabe 1 und um 42 % in der Meteor-Aufgabe in Aufgabe 2 übertreffen. Darüber hinaus untersuchen wir fortgeschrittene Aspekte der LLM-Nutzung, einschließlich sequenzieller Feinabstimmung, Modell-Selbstbewertung (narzisstische Bewertung) und den Einfluss der Trainingsdatengröße auf die Leistung. Die Modelle und Datensätze sind hier verfügbar: https://huggingface.co/genloop
In jüngster Zeit haben Fortschritte bei großen multimodalen Modellen (LMMs) die feinkörnige Verankerung als einen entscheidenden Faktor für das visuelle Verständnis und den Dialog anerkannt. Die Vorteile einer solchen Repräsentation in LMMs beschränken sich jedoch auf den natürlichen Bildbereich, und diese Modelle erzielen schlechte Leistungen für die Fernerkundung (RS). Die unterschiedliche Überblicksperspektive, die Skalenvielfalt und das Vorhandensein kleiner Objekte in hochauflösenden RS-Bildern stellen eine einzigartige Herausforderung für das Verständnis auf Regionsebene dar. Darüber hinaus wird die Entwicklung der Verankerungsfähigkeit von LMMs im RS-Bereich durch den Mangel an granularen, RS-domänenspezifischen verankerten Daten behindert. Um diese Einschränkungen anzugehen, schlagen wir GeoPixel vor - das erste End-to-End-Hochauflösungs-RS-LMM, das eine Verankerung auf Pixel-Ebene unterstützt. Diese Fähigkeit ermöglicht ein feinkörniges visuelles Verständnis durch die Erzeugung ineinandergreifender Masken im Dialog. GeoPixel unterstützt Auflösungen von bis zu 4K HD in jedem Seitenverhältnis, ideal für die hochpräzise Analyse von RS-Bildern. Um die Erzeugung von verankerten Gesprächen (GCG) in RS-Bildern zu unterstützen, kuratieren wir einen visuell verankerten Datensatz GeoPixelD durch eine teilautomatisierte Pipeline, die Set-of-Marks-Prompting und speziell für RS-Daten angepasste räumliche Prioritäten nutzt, um den Datenerzeugungsprozess methodisch zu steuern. GeoPixel zeigt eine überlegene Leistung im Verständnis auf Pixel-Ebene und übertrifft bestehende LMMs sowohl bei Einzelziel- als auch bei Mehrziel-Segmentierungsaufgaben. Unsere methodischen Ablationsstudien bestätigen die Wirksamkeit jedes Bestandteils in der Gesamtarchitektur. Unser Code und unsere Daten werden öffentlich zugänglich gemacht.
Die Grundlagenmodelle für die visuelle Wahrnehmung, insbesondere die ViT-Familie, haben die Bildverarbeitung revolutioniert, indem sie reichhaltige semantische Merkmale bereitstellen. Trotz ihres Erfolgs bei der zweidimensionalen Verarbeitung sind ihre Fähigkeiten zur Erfassung räumlicher 3D-Beziehungen noch unklar. In dieser Arbeit bewerten und verbessern wir das 3D-Bewusstsein von ViT-basierten Modellen. Wir beginnen mit der systematischen Bewertung ihrer Fähigkeit, 3D-äquivariante Merkmale zu erlernen, wobei wir insbesondere die Konsistenz semantischer Einbettungen aus verschiedenen Blickwinkeln untersuchen. Unsere Ergebnisse deuten darauf hin, dass eine verbesserte 3D-Äquivarianz zu besseren Leistungen bei verschiedenen nachgelagerten Aufgaben führt, einschließlich Posenabschätzung, Verfolgung und semantischer Übertragung. Aufbauend auf dieser Erkenntnis schlagen wir eine einfache, aber effektive Feinabstimmungsstrategie auf der Grundlage von 3D-Korrespondenzen vor, die das Verständnis für 3D-Korrespondenzen bestehender Visionmodelle signifikant verbessert. Bemerkenswerterweise führt selbst eine Feinabstimmung an einem einzelnen Objekt für nur eine Iteration zu erheblichen Leistungssteigerungen. Der gesamte Code und die Ressourcen werden öffentlich zugänglich gemacht, um weitere Fortschritte bei 3D-bewussten Visionmodellen zu unterstützen. Unser Code ist verfügbar unter https://github.com/qq456cvb/3DCorrEnhance.
Die Virtual Try-On (VTON)-Technologie hat aufgrund ihres Potenzials, die Online-Einzelhandelsbranche durch die realistische Visualisierung von Kleidungsstücken in Bildern und Videos zu transformieren, Aufmerksamkeit erregt. Allerdings haben die meisten bestehenden Methoden Schwierigkeiten, hochwertige Ergebnisse bei Bild- und Video-Anprobetätigkeiten zu erzielen, insbesondere in langen Videoszenarien. In dieser Arbeit stellen wir CatV2TON vor, eine einfache und effektive, auf Vision basierende Virtual Try-On (V2TON)-Methode, die sowohl Bild- als auch Video-Anprobetätigkeiten mit einem einzigen Diffusionstransformer-Modell unterstützt. Durch die zeitliche Verknüpfung von Kleidungsstücken und Personeneingaben und das Training an einer Mischung aus Bild- und Videodatensätzen erzielt CatV2TON robuste Anprobeleistungen in statischen und dynamischen Umgebungen. Für die effiziente Generierung von langen Videos schlagen wir eine überlappende Clip-basierte Inferenzstrategie vor, die sequenzielle Rahmenführung und Adaptive Clip Normalization (AdaCN) verwendet, um die zeitliche Konsistenz bei reduziertem Ressourcenbedarf aufrechtzuerhalten. Wir präsentieren auch ViViD-S, einen verfeinerten Video-Anprobdatensatz, der durch Filterung von rückwärts gerichteten Rahmen und Anwendung von 3D-Maskenglättung zur Verbesserung der zeitlichen Konsistenz erreicht wurde. Umfassende Experimente zeigen, dass CatV2TON bestehende Methoden sowohl bei Bild- als auch bei Video-Anprobetätigkeiten übertrifft und eine vielseitige und zuverlässige Lösung für realistische virtuelle Anproben in verschiedenen Szenarien bietet.
Im Bildaufnahmeprozess werden häufig verschiedene Formen der Degradierung, einschließlich Rauschen, Dunst und Regen, eingeführt. Diese Degradierungen entstehen typischerweise aus den inhärenten Einschränkungen von Kameras oder ungünstigen Umgebungsbedingungen. Um saubere Bilder aus degradierten Versionen wiederherzustellen, wurden zahlreiche spezialisierte Restaurierungsmethoden entwickelt, die jeweils auf einen bestimmten Typ von Degradierung abzielen. In letzter Zeit haben All-in-One-Algorithmen erhebliche Aufmerksamkeit erregt, indem sie verschiedene Arten von Degradierungen innerhalb eines einzigen Modells behandeln, ohne vorherige Informationen über den Eingabetyp der Degradierung zu benötigen. Diese Methoden arbeiten jedoch ausschließlich im Ortsbereich und gehen nicht auf die unterschiedlichen Frequenzvariationen ein, die verschiedenen Degradierungstypen innewohnen. Um diese Lücke zu schließen, schlagen wir ein adaptives All-in-One-Bildrestaurierungsnetzwerk auf der Grundlage von Frequenzanalyse und Modulation vor. Unser Ansatz wird durch die Beobachtung motiviert, dass verschiedene Degradierungstypen den Bildinhalt in verschiedenen Frequenzunterbändern beeinflussen, was unterschiedliche Behandlungen für jede Restaurierungsaufgabe erfordert. Konkret extrahieren wir zunächst Nieder- und Hochfrequenzinformationen aus den Eingabemerkmale, geleitet durch die adaptiv entkoppelten Spektren des degradierten Bildes. Die extrahierten Merkmale werden dann von einem bidirektionalen Operator moduliert, um Interaktionen zwischen verschiedenen Frequenzkomponenten zu erleichtern. Schließlich werden die modulierten Merkmale in die ursprüngliche Eingabe für eine progressiv geführte Restaurierung zusammengeführt. Mit diesem Ansatz erreicht das Modell eine adaptive Rekonstruktion, indem es die informativen Frequenzunterbänder je nach verschiedenen Eingabedegradierungen betont. Umfangreiche Experimente zeigen, dass die vorgeschlagene Methode eine Spitzenleistung bei verschiedenen Bildrestaurierungsaufgaben wie Rauschunterdrückung, Dunstentfernung, Regenentfernung, Bewegungsunschärfe und Aufhellung bei schwachem Licht erzielt. Unser Code ist verfügbar unter https://github.com/c-yn/AdaIR.
Obwohl lernbasierte Bildrestaurierungsmethoden signifikante Fortschritte gemacht haben, haben sie immer noch Schwierigkeiten mit einer begrenzten Verallgemeinerung auf reale Szenarien aufgrund der erheblichen Domänenlücke, die durch das Training mit synthetischen Daten verursacht wird. Bestehende Methoden gehen dieses Problem an, indem sie die Datensynthesepipelines verbessern, Degradationskerne schätzen, tiefes internes Lernen nutzen und Domänenanpassung und Regularisierung durchführen. Frühere Domänenanpassungsmethoden haben versucht, die Domänenlücke zu überbrücken, indem sie domäneninvariante Kenntnisse entweder im Merkmal- oder Pixelraum erlernen. Diese Techniken haben jedoch oft Schwierigkeiten, sich auf Niedrigpegel-Visionaufgaben innerhalb eines stabilen und kompakten Rahmens auszudehnen. In diesem Papier zeigen wir, dass es möglich ist, Domänenanpassung über den Rauschraum mithilfe von Diffusionsmodellen durchzuführen. Insbesondere, indem wir die einzigartige Eigenschaft nutzen, wie Hilfsbedingungseingaben den mehrstufigen Denoisierungsprozess beeinflussen, leiten wir einen sinnvollen Diffusionsverlust her, der das Restaurierungsmodell dabei unterstützt, sowohl wiederhergestellte synthetische als auch reale Ausgaben progressiv mit einer sauberen Zielverteilung auszurichten. Wir bezeichnen diese Methode als "Denoising as Adaptation". Um Abkürzungen während des gemeinsamen Trainings zu verhindern, präsentieren wir entscheidende Strategien wie Kanal-Umordnungsschicht und Rest-Swapping-Kontrastives Lernen im Diffusionsmodell. Sie verwischen implizit die Grenzen zwischen konditionierten synthetischen und realen Daten und verhindern die Abhängigkeit des Modells von leicht unterscheidbaren Merkmalen. Experimentelle Ergebnisse zu drei klassischen Bildrestaurierungsaufgaben, nämlich Denoising, Deblurring und Deraining, zeigen die Wirksamkeit der vorgeschlagenen Methode.