Voorspellen van beslissingen van AI-agenten vanuit beperkte interactie via tekst-tabulaire modellering

Samenvatting

AI-agenten onderhandelen en transacteren in natuurlijke taal met onbekende tegenpartijen: een aankoopbot die een onbekende verkoper tegenkomt, of een inkoopassistent die onderhandelt met een leverancier. In dergelijke interacties zijn de LLM, prompts, controletaal en regelgebaseerde vangnetten van de tegenpartij verborgen, terwijl elke beslissing monetaire gevolgen kan hebben. Wij vragen of een agent de volgende beslissing van een onbekende tegenpartij kan voorspellen op basis van enkele interacties. Om verstorende effecten van real-world logging te vermijden, bestuderen we dit probleem in gecontroleerde onderhandelings- en biedingsspellen, waarbij we het formuleren als een doel-adaptieve tekst-tabulaire voorspelling: elk beslissingspunt is een tabelrij die de gestructureerde spelstatus, biedingsgeschiedenis en dialoog combineert, terwijl K eerdere spellen van dezelfde doelagent, d.w.z. de tegenpartij die wordt gemodelleerd, in de prompt worden meegeleverd als gelabelde aanpassingsvoorbeelden. Ons model is gebouwd op een tabulair fundamentmodel dat rijen representeert met behulp van spelstatuskenmerken en LLM-gebaseerde tekstrepresentaties, en voegt LLM-as-Observer toe als een extra representatie: een kleine bevroren LLM leest de beslissingsstatus en dialoog; het antwoord wordt genegeerd en de verborgen toestand wordt een beslissingsgericht kenmerk, waardoor de LLM een encoder wordt in plaats van een directe few-shot voorspeller. Getraind op 13 top-LLM-agenten en getest op 91 apart gehouden geschafelde agenten, presteert het volledige model beter dan directe LLM-as-Predictor prompts en basislijnen met spel+tekstkenmerken. Binnen dit tabulaire model dragen Observer-kenmerken bij naast de andere kenmerkschema's: bij K=16 verbeteren ze de AUC voor reactievoorspelling met ongeveer 4 punten voor beide taken en verminderen ze de voorspellingsfout voor biedingen met 14%. Deze resultaten tonen aan dat het formuleren van tegenpartijvoorspelling als een doel-adaptieve tekst-tabulaire taak effectieve aanpassing mogelijk maakt, en dat verborgen LLM-representaties beslissingsrelevante signalen blootleggen die directe prompting niet naar boven brengt.

English

AI agents negotiate and transact in natural language with unfamiliar counterparts: a buyer bot facing an unknown seller, or a procurement assistant negotiating with a supplier. In such interactions, the counterpart's LLM, prompts, control logic, and rule-based fallbacks are hidden, while each decision can have monetary consequences. We ask whether an agent can predict an unfamiliar counterpart's next decision from a few interactions. To avoid real-world logging confounds, we study this problem in controlled bargaining and negotiation games, formulating it as target-adaptive text-tabular prediction: each decision point is a table row combining structured game state, offer history, and dialogue, while K previous games of the same target agent, i.e., the counterpart being modeled, are provided in the prompt as labeled adaptation examples. Our model is built on a tabular foundation model that represents rows using game-state features and LLM-based text representations, and adds LLM-as-Observer as an additional representation: a small frozen LLM reads the decision-time state and dialogue; its answer is discarded, and its hidden state becomes a decision-oriented feature, making the LLM an encoder rather than a direct few-shot predictor. Training on 13 frontier-LLM agents and testing on 91 held-out scaffolded agents, the full model outperforms direct LLM-as-Predictor prompting and game+text features baselines. Within this tabular model, Observer features contribute beyond the other feature schemes: at K=16, they improve response-prediction AUC by about 4 points across both tasks and reduce bargaining offer-prediction error by 14%. These results show that formulating counterpart prediction as a target-adaptive text-tabular task enables effective adaptation, and that hidden LLM representations expose decision-relevant signals that direct prompting does not surface.