Geração Condicional de Hipóteses para Análise de Texto Baseada em LLM com Covariáveis Especificadas pelo Pesquisador

Resumo

Um objetivo central da ciência social computacional é descobrir diferenças interpretáveis em como a linguagem varia entre desfechos de interesse, como afiliação política ou qualidade instrucional. Métodos recentes de geração de hipóteses baseados em LLM descrevem essas diferenças em linguagem natural, mas selecionam padrões globalmente discriminativos sem considerar covariáveis que moldam os dados com base no conhecimento de domínio dos pesquisadores. Quando as covariáveis são ignoradas, os padrões selecionados podem refletir fatores de confusão, em vez de diferenças de interesse substantivo. Introduzimos a geração condicional de hipóteses, uma estrutura que incorpora covariáveis especificadas pelo pesquisador para direcionar a descoberta de hipóteses para diferenças que se mantêm dentro de subgrupos relevantes. Dois desafios surgem: o subgrupo alvo pode estar sub-representado (desequilíbrio de estrato) e a direção de uma diferença pode inverter entre subgrupos (inversão de sinal). Propomos dois métodos inspirados em econometria: um introduz interações entre características e covariáveis para detectar inversões de sinal, e o outro aplica centralização dentro do estrato e re-ponderação por frequência inversa para equalizar estratos sub-representados. Experimentos sintéticos mostram que cada método supera as linhas de base globais em seu cenário-alvo, e a avaliação de especialistas em dois conjuntos de dados reais confirma que a geração ciente de covariáveis revela hipóteses mais úteis dentro de subgrupos relevantes.

English

A core goal of computational social science is to discover interpretable differences in how language varies across outcomes of interest, such as political affiliation or instructional quality. Recent LLM-based hypothesis generation methods describe such differences in natural language, but select for globally discriminative patterns without accounting for covariates that shape the data based on researchers' domain knowledge. When covariates are ignored, selected patterns can reflect confounds rather than differences of substantive interest. We introduce conditional hypothesis generation, a framework that incorporates researcher-specified covariates to steer hypothesis discovery toward differences that hold within relevant subgroups. Two challenges arise: the target subgroup may be underrepresented (stratum imbalance), and the direction of a difference may reverse across subgroups (sign reversal). We propose two econometrics-inspired methods: one introduces feature--covariate interactions to detect sign reversals, and the other applies within-stratum demeaning and inverse-frequency reweighting to equalize underrepresented strata. Synthetic experiments show each method outperforms global baselines in its targeted setting, and expert evaluation on two real-world datasets confirms that covariate-aware generation surfaces more useful hypotheses within relevant subgroups.