Macaron-A2UI : un modèle pour l'interface utilisateur générative dans les agents personnels

Résumé

Alors que les agents personnels évoluent pour gérer des tâches complexes centrées sur l'utilisateur, le chat textuel statique devient rapidement un goulot d'étranglement. L'UI générative émerge comme la nouvelle couche d'interface nécessaire, synthétisant dynamiquement en temps réel les contrôles, options et état appropriés à partir du contexte d'interaction. Nous présentons Macaron-A2UI, un modèle d'UI générative pour les agents personnels. Notre objectif est d'aller au-delà de l'interaction uniquement textuelle en permettant aux agents de générer du langage naturel ainsi que des actions UI légères et exécutables pour la collecte d'informations, l'affinage des préférences, la confirmation et l'organisation multi-objectifs. Nous construisons un corpus d'UI générative à grande échelle à partir de sources hétérogènes de dialogues, introduisons A2UI-Bench pour une évaluation contrôlée, et entraînons des modèles de 30B, 235B et 754B paramètres avec un ajustement supervisé efficace en paramètres basé sur LoRA, suivi d'un apprentissage par renforcement guidé par récompense. Le meilleur modèle Macaron-A2UI atteint un score global de 75,6 sur A2UI-Bench sans indications explicites de schéma, surpassant la baseline de pointe la plus forte disposant d'un schéma complet. Nous publions les modèles, le benchmark et le protocole d'évaluation pour soutenir les travaux futurs sur l'UI générative pour les agents personnels.

English

As personal agents evolve to handle complex, user-centric tasks, static plain-text chat is rapidly becoming a bottleneck. Generative UI emerges as the necessary new interface layer, dynamically synthesizing the right controls, options, and state from the interaction context in real time. We present Macaron-A2UI, a model for Generative UI in personal agents. Our goal is to move beyond text-only interaction by enabling agents to generate natural language together with lightweight, executable UI actions for information collection, preference refinement, confirmation, and multi-goal organization. We build a large-scale Generative UI corpus from heterogeneous dialogue sources, introduce A2UI-Bench for controlled evaluation, and train 30B, 235B and 754B models with parameter-efficient LoRA-based supervised fine-tuning followed by reward-driven reinforcement learning. The best Macaron-A2UI model reaches 75.6 overall on A2UI-Bench without explicit schema hints, surpassing the strongest full-schema frontier baseline. We release the models, benchmark, and evaluation protocol to support future work on Generative UI for personal agents.