Wie te bevragen voor wat: Adaptieve groepsraadpleging via multi-turn LLM-interacties

Whom to Query for What: Adaptive Group Elicitation via Multi-Turn LLM Interactions

February 15, 2026

Auteurs: Ruomeng Ding, Tianwei Gao, Thomas P. Zollo, Eitan Bachmat, Richard Zemel, Zhun Deng

cs.AI

Samenvatting

Het verkrijgen van informatie om onzekerheid over latente groepsniveau-eigenschappen te verminderen uit enquêtes en andere collectieve beoordelingen vereist de toewijzing van beperkte vraagstelinspanning onder reële kosten en ontbrekende gegevens. Hoewel grote taalmodellen adaptieve, multi-turn interacties in natuurlijke taal mogelijk maken, optimaliseren de meeste bestaande elicitatiemethoden wat er gevraagd moet worden met een vaste groep respondenten, en passen zij de selectie van respondenten niet aan of benutten zij populatiestructuur niet wanneer reacties gedeeltelijk of onvolledig zijn. Om deze leemte aan te pakken, bestuderen wij adaptieve groepselicitatie, een multi-ronde setting waarin een agent adaptief zowel vragen als respondenten selecteert onder expliciete query- en deelnamebudgetten. Wij stellen een theoretisch onderbouwd raamwerk voor dat combineert (i) een op grote taalmodellen gebaseerd verwacht informatiewinstdoel voor het scoren van kandidaatvragen met (ii) heterogene grafische neuraalnetwerkpropagatie die waargenomen reacties en deelnemerskenmerken aggregeert om ontbrekende reacties in te vullen en de selectie van respondenten per ronde te sturen. Deze gesloten-lusprocedure bevraagt een kleine, informatieve subset van individuen terwijl populatieniveau-reacties worden afgeleid via gestructureerde gelijkenis. Over drie real-world opiniedatasets heen verbetert onze methode consistent de voorspelling van reacties op populatieniveau onder beperkte budgetten, inclusief een >12% relatieve winst op CES bij een 10% respondentenbudget.

English

Eliciting information to reduce uncertainty about latent group-level properties from surveys and other collective assessments requires allocating limited questioning effort under real costs and missing data. Although large language models enable adaptive, multi-turn interactions in natural language, most existing elicitation methods optimize what to ask with a fixed respondent pool, and do not adapt respondent selection or leverage population structure when responses are partial or incomplete. To address this gap, we study adaptive group elicitation, a multi-round setting where an agent adaptively selects both questions and respondents under explicit query and participation budgets. We propose a theoretically grounded framework that combines (i) an LLM-based expected information gain objective for scoring candidate questions with (ii) heterogeneous graph neural network propagation that aggregates observed responses and participant attributes to impute missing responses and guide per-round respondent selection. This closed-loop procedure queries a small, informative subset of individuals while inferring population-level responses via structured similarity. Across three real-world opinion datasets, our method consistently improves population-level response prediction under constrained budgets, including a >12% relative gain on CES at a 10% respondent budget.