Génération conditionnelle d'hypothèses pour l'analyse de texte basée sur les LLM avec des covariables spécifiées par le chercheur

Résumé

Un objectif central de la science sociale computationnelle est de découvrir des différences interprétables dans la manière dont le langage varie selon des résultats d'intérêt, tels que l'affiliation politique ou la qualité de l'enseignement. Les méthodes récentes de génération d'hypothèses basées sur les LLM décrivent ces différences en langage naturel, mais sélectionnent des motifs globalement discriminants sans tenir compte des covariables qui façonnent les données en fonction des connaissances du domaine des chercheurs. Lorsque les covariables sont ignorées, les motifs sélectionnés peuvent refléter des facteurs de confusion plutôt que des différences d'intérêt substantiel. Nous introduisons la génération conditionnelle d'hypothèses, un cadre qui intègre des covariables spécifiées par le chercheur pour orienter la découverte d'hypothèses vers des différences qui tiennent au sein de sous-groupes pertinents. Deux défis se posent : le sous-groupe cible peut être sous-représenté (déséquilibre des strates) et la direction d'une différence peut s'inverser entre les sous-groupes (inversion de signe). Nous proposons deux méthodes inspirées de l'économétrie : l'une introduit des interactions caractéristique-covariable pour détecter les inversions de signe, et l'autre applique un centrage intra-strate et une repondération par fréquence inverse pour équilibrer les strates sous-représentées. Des expériences synthétiques montrent que chaque méthode surpasse les références globales dans son contexte ciblé, et une évaluation par des experts sur deux ensembles de données réelles confirme que la génération tenant compte des covariables fait émerger des hypothèses plus utiles au sein de sous-groupes pertinents.

English

A core goal of computational social science is to discover interpretable differences in how language varies across outcomes of interest, such as political affiliation or instructional quality. Recent LLM-based hypothesis generation methods describe such differences in natural language, but select for globally discriminative patterns without accounting for covariates that shape the data based on researchers' domain knowledge. When covariates are ignored, selected patterns can reflect confounds rather than differences of substantive interest. We introduce conditional hypothesis generation, a framework that incorporates researcher-specified covariates to steer hypothesis discovery toward differences that hold within relevant subgroups. Two challenges arise: the target subgroup may be underrepresented (stratum imbalance), and the direction of a difference may reverse across subgroups (sign reversal). We propose two econometrics-inspired methods: one introduces feature--covariate interactions to detect sign reversals, and the other applies within-stratum demeaning and inverse-frequency reweighting to equalize underrepresented strata. Synthetic experiments show each method outperforms global baselines in its targeted setting, and expert evaluation on two real-world datasets confirms that covariate-aware generation surfaces more useful hypotheses within relevant subgroups.