Täglich kuratierte KI-Forschungspapiere mit Übersetzungen
Große Sprachmodelle (LLMs) haben sich als bahnbrechende Technologie mit ihren beispiellosen Textgenerierungsfähigkeiten in verschiedenen Anwendungen etabliert. Dennoch bestehen Bedenken hinsichtlich der Genauigkeit und Angemessenheit ihrer generierten Inhalte. Eine zeitgenössische Methodik, die Selbstkorrektur, wurde als Abhilfe für diese Probleme vorgeschlagen. Auf dieser Grundlage aufbauend untersucht dieses Papier kritisch die Rolle und Wirksamkeit der Selbstkorrektur innerhalb von LLMs und beleuchtet ihr wahres Potenzial und ihre Grenzen. Kern unserer Untersuchung ist das Konzept der intrinsischen Selbstkorrektur, bei der ein LLM versucht, seine initialen Antworten ausschließlich auf der Grundlage seiner inhärenten Fähigkeiten zu korrigieren, ohne den Rückgriff auf externes Feedback. Im Kontext des logischen Schließens zeigt unsere Forschung, dass LLMs Schwierigkeiten haben, ihre Antworten ohne externes Feedback selbst zu korrigieren, und dass ihre Leistung manchmal sogar nach der Selbstkorrektur abnimmt. Aus diesen Erkenntnissen leiten wir Vorschläge für zukünftige Forschung und praktische Anwendungen in diesem Bereich ab.
In letzter Zeit wurden eine Vielzahl von Modellen zur bedingten Bildgenerierung und -bearbeitung entwickelt, um verschiedene nachgelagerte Aufgaben zu bedienen, darunter Text-zu-Bild-Generierung, textgesteuerte Bildbearbeitung, subjektgesteuerte Bildgenerierung, kontrollgesteuerte Bildgenerierung usw. Wir beobachten jedoch erhebliche Inkonsistenzen in den experimentellen Bedingungen: Datensätze, Inferenz und Bewertungsmetriken – was faire Vergleiche erschwert. Dieses Papier schlägt ImagenHub vor, eine One-Stop-Bibliothek zur Standardisierung der Inferenz und Bewertung aller bedingten Bildgenerierungsmodelle. Erstens definieren wir sieben herausragende Aufgaben und kuratieren hochwertige Bewertungsdatensätze für diese. Zweitens haben wir eine einheitliche Inferenzpipeline aufgebaut, um einen fairen Vergleich zu gewährleisten. Drittens entwerfen wir zwei menschliche Bewertungsscores, nämlich Semantische Konsistenz und Wahrgenommene Qualität, zusammen mit umfassenden Richtlinien zur Bewertung generierter Bilder. Wir schulen Expertenbewerter, um die Modellausgaben basierend auf den vorgeschlagenen Metriken zu bewerten. Unsere menschliche Bewertung erreicht eine hohe Übereinstimmung zwischen den Bewertern mit einem Krippendorff's Alpha von 76 % der Modelle mit einem Wert über 0,4. Wir haben insgesamt etwa 30 Modelle umfassend bewertet und drei zentrale Erkenntnisse gewonnen: (1) Die Leistung der bestehenden Modelle ist im Allgemeinen unbefriedigend, mit Ausnahme von Textgesteuerter Bildgenerierung und Subjektgesteuerter Bildgenerierung, wobei 74 % der Modelle eine Gesamtpunktzahl von weniger als 0,5 erreichen. (2) Wir haben die Behauptungen aus veröffentlichten Arbeiten überprüft und festgestellt, dass 83 % davon mit wenigen Ausnahmen zutreffen. (3) Keine der bestehenden automatischen Metriken hat eine Spearman-Korrelation von mehr als 0,2, mit Ausnahme der subjektgesteuerten Bildgenerierung. In Zukunft werden wir unsere Bemühungen fortsetzen, neu veröffentlichte Modelle zu bewerten und unsere Bestenliste zu aktualisieren, um den Fortschritt in der bedingten Bildgenerierung im Auge zu behalten.
Chain-of-thought (CoT) Prompting für Sprachmodelle zeigt beeindruckende Leistungen bei Aufgaben, die logisches Denken erfordern, benötigt jedoch typischerweise annotierte Beispiele des Denkprozesses. In dieser Arbeit stellen wir einen neuen Prompting-Ansatz vor, das Analogical Prompting, das entwickelt wurde, um den Denkprozess großer Sprachmodelle automatisch zu steuern. Inspiriert vom analogen Denken, einem kognitiven Prozess, bei dem Menschen auf relevante vergangene Erfahrungen zurückgreifen, um neue Probleme zu lösen, regt unser Ansatz Sprachmodelle dazu an, selbst relevante Beispiele oder Wissen im Kontext zu generieren, bevor sie das gegebene Problem lösen. Diese Methode bietet mehrere Vorteile: Sie macht die Annotation oder das Abrufen von Beispielen überflüssig, was Allgemeingültigkeit und Bequemlichkeit bietet; sie kann die generierten Beispiele und das Wissen auch auf jedes Problem zuschneiden, was Anpassungsfähigkeit ermöglicht. Experimentelle Ergebnisse zeigen, dass unser Ansatz 0-shot CoT und manuelles Few-shot CoT bei einer Vielzahl von Denkaufgaben übertrifft, einschließlich mathematischer Problemlösungen in GSM8K und MATH, Code-Generierung in Codeforces und anderen Denkaufgaben in BIG-Bench.
Aktuelle große Sprachmodelle (LLMs) haben ein großes Potenzial für intelligente Agenten und die Automatisierung der nächsten Generation gezeigt, aber es fehlt derzeit ein systematischer Benchmark zur Bewertung der Fähigkeiten von LLMs als Agenten. Wir stellen SmartPlay vor: einen anspruchsvollen Benchmark und eine Methodik zur Bewertung von LLMs als Agenten. SmartPlay besteht aus 6 verschiedenen Spielen, darunter Schere-Stein-Papier, Türme von Hanoi und Minecraft. Jedes Spiel bietet eine einzigartige Umgebung mit bis zu 20 Bewertungsszenarien und unendlichen Umgebungsvariationen. Jedes Spiel in SmartPlay fordert spezifisch eine Teilmenge von 9 wichtigen Fähigkeiten eines intelligenten LLM-Agenten heraus, darunter das logische Denken mit Objektabhängigkeiten, vorausschauendes Planen, räumliches Denken, Lernen aus der Historie und das Verständnis von Zufälligkeit. Die Unterscheidung zwischen den Fähigkeiten, die jedes Spiel testet, ermöglicht es uns, jede Fähigkeit separat zu analysieren. SmartPlay dient nicht nur als rigoroser Prüfstand zur Bewertung der Gesamtleistung von LLM-Agenten, sondern auch als Leitfaden zur Identifizierung von Lücken in aktuellen Methodologien. Wir veröffentlichen unseren Benchmark unter github.com/LLMsmartplay/SmartPlay.