Treinando Modelos Abertos para Uso Agêntico de Telefone

Resumo

Os telefones estão se tornando uma superfície de execução importante para agentes de propósito geral, mas treinar modelos abertos para uso confiável de telefones continua difícil porque o ambiente que importa na implantação — dispositivos reais executando aplicativos reais — é lento, com estados, propenso a efeitos colaterais e difícil de redefinir ou verificar, enquanto ambientes simulados escaláveis apenas se aproximam do comportamento real. Apresentamos o PhoneBuddy, uma receita de treinamento e uma linha de modelos abertos para uso agêntico de telefones que combina um ambiente de aplicativos reais com um ambiente de aplicativos simulados, o PhoneWorld, que reconstrói aplicativos simulados executáveis a partir da estrutura de uso real de GUI. O PhoneBuddy primeiro constrói um estágio compartilhado de ajuste fino supervisionado a partir de trajetórias coletadas em ambos os ambientes e, em seguida, compara o RL em aplicativos reais com o RL combinado em ambos os ambientes. Em uma avaliação humana de 150 tarefas em telefones reais, abrangendo aplicativos, mini-aplicativos e fluxos de trabalho entre aplicativos, a taxa de sucesso de tarefas melhora de 36,67% após o ajuste fino supervisionado para 40,67% após o RL em aplicativos reais e para 45,33% após o RL combinado. No AndroidWorld, a mesma progressão sobe de 60,3% para 77,2% para 83,2%. Esses resultados mostram que o treinamento em aplicativos simulados não substitui o RL em aplicativos reais, mas é uma fonte complementar de interação escalável, redefinível e verificada automaticamente. Os ganhos são mais fortes em tarefas de aplicativos e mini-aplicativos, enquanto fluxos de trabalho entre aplicativos de longo horizonte continuam sendo um desafio importante em aberto.

English

Phones are becoming an important execution surface for general-purpose agents, but training open models for reliable phone use remains difficult because the environment that matters at deployment, real devices running real apps, is slow, stateful, side-effectful, and hard to reset or verify, while scalable mock environments only approximate real behavior. We present PhoneBuddy, a training recipe and open-model line for agentic phone use that combines a real-app environment with a mock-app environment, PhoneWorld, which reconstructs runnable mock apps from real GUI usage structure. PhoneBuddy first builds a shared supervised fine-tuning stage from trajectories collected in both environments, then compares real-app RL against mixed RL across both environments. Across a 150-task human evaluation on real phones spanning apps, mini-apps, and cross-app workflows, task success rate improves from 36.67\% after supervised fine-tuning to 40.67\% after real-app RL and 45.33\% after mixed RL. On AndroidWorld, the same progression rises from 60.3\% to 77.2\% to 83.2\%. These results show that mock-app training is not a replacement for real-app RL, but a complementary source of scalable, resettable, and automatically checked interaction. The gains are strongest on app and mini-app tasks, while long-horizontal cross-app workflows remain an important open challenge.