Predição de Decisões de Agentes de IA a partir de Interação Limitada através de Modelagem Texto-Tabelar

Resumo

Agentes de IA negociam e realizam transações em linguagem natural com contrapartes desconhecidas: um bot comprador enfrentando um vendedor desconhecido, ou um assistente de compras negociando com um fornecedor. Nessas interações, o LLM, os prompts, a lógica de controle e os fallbacks baseados em regras da contraparte estão ocultos, enquanto cada decisão pode ter consequências financeiras. Perguntamos se um agente pode prever a próxima decisão de uma contraparte desconhecida a partir de algumas interações. Para evitar confusões de registro no mundo real, estudamos esse problema em jogos controlados de barganha e negociação, formulando-o como previsão texto-tabular adaptativa ao alvo: cada ponto de decisão é uma linha de tabela que combina estado estruturado do jogo, histórico de ofertas e diálogo, enquanto K jogos anteriores do mesmo agente alvo, ou seja, a contraparte sendo modelada, são fornecidos no prompt como exemplos de adaptação rotulados. Nosso modelo é construído sobre um modelo fundamental tabular que representa linhas usando características do estado do jogo e representações de texto baseadas em LLM, e adiciona LLM como Observador como uma representação adicional: um pequeno LLM congelado lê o estado e o diálogo no momento da decisão; sua resposta é descartada, e seu estado oculto se torna uma característica orientada à decisão, transformando o LLM em um codificador, em vez de um preditor direto de poucos exemplos. Treinado em 13 agentes LLM de fronteira e testado em 91 agentes scaffolded não vistos, o modelo completo supera o prompting direto do LLM como Preditor e as linhas de base de características de jogo+texto. Dentro deste modelo tabular, as características do Observador contribuem além dos outros esquemas de características: em K=16, elas melhoram a AUC de previsão de resposta em cerca de 4 pontos em ambas as tarefas e reduzem o erro de previsão de oferta de barganha em 14%. Esses resultados mostram que formular a previsão da contraparte como uma tarefa texto-tabular adaptativa ao alvo permite uma adaptação eficaz, e que representações ocultas do LLM expõem sinais relevantes para a decisão que o prompting direto não revela.

English

AI agents negotiate and transact in natural language with unfamiliar counterparts: a buyer bot facing an unknown seller, or a procurement assistant negotiating with a supplier. In such interactions, the counterpart's LLM, prompts, control logic, and rule-based fallbacks are hidden, while each decision can have monetary consequences. We ask whether an agent can predict an unfamiliar counterpart's next decision from a few interactions. To avoid real-world logging confounds, we study this problem in controlled bargaining and negotiation games, formulating it as target-adaptive text-tabular prediction: each decision point is a table row combining structured game state, offer history, and dialogue, while K previous games of the same target agent, i.e., the counterpart being modeled, are provided in the prompt as labeled adaptation examples. Our model is built on a tabular foundation model that represents rows using game-state features and LLM-based text representations, and adds LLM-as-Observer as an additional representation: a small frozen LLM reads the decision-time state and dialogue; its answer is discarded, and its hidden state becomes a decision-oriented feature, making the LLM an encoder rather than a direct few-shot predictor. Training on 13 frontier-LLM agents and testing on 91 held-out scaffolded agents, the full model outperforms direct LLM-as-Predictor prompting and game+text features baselines. Within this tabular model, Observer features contribute beyond the other feature schemes: at K=16, they improve response-prediction AUC by about 4 points across both tasks and reduce bargaining offer-prediction error by 14%. These results show that formulating counterpart prediction as a target-adaptive text-tabular task enables effective adaptation, and that hidden LLM representations expose decision-relevant signals that direct prompting does not surface.