Conditionele hypothesengeneratie voor LLM-gebaseerde tekstanalyse met door de onderzoeker gespecificeerde covariaten

Samenvatting

Een kern doel van computationele sociale wetenschap is het ontdekken van interpreteerbare verschillen in hoe taal varieert over uitkomsten van interesse, zoals politieke voorkeur of instructiekwaliteit. Recente op LLM gebaseerde hypothesengeneratiemethoden beschrijven dergelijke verschillen in natuurlijke taal, maar selecteren op globale discriminatieve patronen zonder rekening te houden met covariaten die de data vormgeven op basis van de domeinkennis van onderzoekers. Wanneer covariaten worden genegeerd, kunnen geselecteerde patronen verstorende factoren weerspiegelen in plaats van verschillen van substantieel belang. We introduceren conditionele hypothesengeneratie, een raamwerk dat door onderzoekers gespecificeerde covariaten integreert om hypothesenontdekking te sturen naar verschillen die gelden binnen relevante subgroepen. Twee uitdagingen doen zich voor: de doel-subgroep kan ondervertegenwoordigd zijn (stratum-onbalans), en de richting van een verschil kan omkeren over subgroepen (tekenomkering). We stellen twee door econometrie geïnspireerde methoden voor: één introduceert kenmerk-covariaat interacties om tekenomkeringen te detecteren, en de andere past binnen-stratum demanen en inverse-frequentie herweging toe om ondervertegenwoordigde strata gelijk te trekken. Synthetische experimenten tonen aan dat elke methode beter presteert dan globale baselines in de beoogde setting, en expert evaluatie op twee real-world datasets bevestigt dat covariaatbewuste generatie meer bruikbare hypothesen binnen relevante subgroepen oplevert.

English

A core goal of computational social science is to discover interpretable differences in how language varies across outcomes of interest, such as political affiliation or instructional quality. Recent LLM-based hypothesis generation methods describe such differences in natural language, but select for globally discriminative patterns without accounting for covariates that shape the data based on researchers' domain knowledge. When covariates are ignored, selected patterns can reflect confounds rather than differences of substantive interest. We introduce conditional hypothesis generation, a framework that incorporates researcher-specified covariates to steer hypothesis discovery toward differences that hold within relevant subgroups. Two challenges arise: the target subgroup may be underrepresented (stratum imbalance), and the direction of a difference may reverse across subgroups (sign reversal). We propose two econometrics-inspired methods: one introduces feature--covariate interactions to detect sign reversals, and the other applies within-stratum demeaning and inverse-frequency reweighting to equalize underrepresented strata. Synthetic experiments show each method outperforms global baselines in its targeted setting, and expert evaluation on two real-world datasets confirms that covariate-aware generation surfaces more useful hypotheses within relevant subgroups.