Generación de Hipótesis Condicional para el Análisis de Texto Basado en LLM con Covariables Especificadas por el Investigador

Resumen

Un objetivo central de la ciencia social computacional es descubrir diferencias interpretables en cómo el lenguaje varía según resultados de interés, como la afiliación política o la calidad educativa. Los métodos recientes de generación de hipótesis basados en LLM describen dichas diferencias en lenguaje natural, pero seleccionan patrones globalmente discriminativos sin considerar las covariables que moldean los datos según el conocimiento del dominio de los investigadores. Cuando se ignoran las covariables, los patrones seleccionados pueden reflejar confusiones en lugar de diferencias de interés sustantivo. Introducimos la generación de hipótesis condicional, un marco que incorpora covariables especificadas por el investigador para orientar el descubrimiento de hipótesis hacia diferencias que se mantienen dentro de subgrupos relevantes. Surgen dos desafíos: el subgrupo objetivo puede estar subrepresentado (desequilibrio de estratos) y la dirección de una diferencia puede invertirse entre subgrupos (inversión de signo). Proponemos dos métodos inspirados en econometría: uno introduce interacciones característica-covariable para detectar inversiones de signo, y el otro aplica desmediación intra-estrato y reponderación por frecuencia inversa para equilibrar los estratos subrepresentados. Experimentos sintéticos muestran que cada método supera a las líneas base globales en su entorno objetivo, y la evaluación de expertos en dos conjuntos de datos del mundo real confirma que la generación consciente de covariables produce hipótesis más útiles dentro de subgrupos relevantes.

English

A core goal of computational social science is to discover interpretable differences in how language varies across outcomes of interest, such as political affiliation or instructional quality. Recent LLM-based hypothesis generation methods describe such differences in natural language, but select for globally discriminative patterns without accounting for covariates that shape the data based on researchers' domain knowledge. When covariates are ignored, selected patterns can reflect confounds rather than differences of substantive interest. We introduce conditional hypothesis generation, a framework that incorporates researcher-specified covariates to steer hypothesis discovery toward differences that hold within relevant subgroups. Two challenges arise: the target subgroup may be underrepresented (stratum imbalance), and the direction of a difference may reverse across subgroups (sign reversal). We propose two econometrics-inspired methods: one introduces feature--covariate interactions to detect sign reversals, and the other applies within-stratum demeaning and inverse-frequency reweighting to equalize underrepresented strata. Synthetic experiments show each method outperforms global baselines in its targeted setting, and expert evaluation on two real-world datasets confirms that covariate-aware generation surfaces more useful hypotheses within relevant subgroups.