Генерация условных гипотез для анализа текста на основе больших языковых моделей с ковариатами, заданными исследователем

Аннотация

Одной из ключевых целей вычислительной социальной науки является обнаружение интерпретируемых различий в том, как язык варьируется в зависимости от интересующих исходов, таких как политическая принадлежность или качество обучения. Современные методы генерации гипотез на основе больших языковых моделей (LLM) описывают такие различия на естественном языке, однако отбирают глобально дискриминативные паттерны, не учитывая ковариаты, которые формируют данные в соответствии с предметными знаниями исследователей. Если игнорировать ковариаты, отобранные паттерны могут отражать смешивающие факторы, а не содержательные различия. Мы предлагаем условную генерацию гипотез – подход, включающий заданные исследователем ковариаты, чтобы направить обнаружение гипотез на различия, сохраняющиеся внутри релевантных подгрупп. Возникают две проблемы: целевая подгруппа может быть недостаточно представлена (дисбаланс страт), а направление различия может меняться на противоположное в разных подгруппах (обращение знака). Мы предлагаем два метода, вдохновлённых эконометрикой: один вводит взаимодействия признаков и ковариат для обнаружения обращений знака, а другой применяет внутристратное центрирование и перевзвешивание по обратной частоте для выравнивания недостаточно представленных страт. Синтетические эксперименты показывают, что каждый метод превосходит глобальные базовые показатели в своей целевой области, а экспертная оценка на двух реальных наборах данных подтверждает, что генерация с учётом ковариат выявляет более полезные гипотезы в релевантных подгруппах.

English

A core goal of computational social science is to discover interpretable differences in how language varies across outcomes of interest, such as political affiliation or instructional quality. Recent LLM-based hypothesis generation methods describe such differences in natural language, but select for globally discriminative patterns without accounting for covariates that shape the data based on researchers' domain knowledge. When covariates are ignored, selected patterns can reflect confounds rather than differences of substantive interest. We introduce conditional hypothesis generation, a framework that incorporates researcher-specified covariates to steer hypothesis discovery toward differences that hold within relevant subgroups. Two challenges arise: the target subgroup may be underrepresented (stratum imbalance), and the direction of a difference may reverse across subgroups (sign reversal). We propose two econometrics-inspired methods: one introduces feature--covariate interactions to detect sign reversals, and the other applies within-stratum demeaning and inverse-frequency reweighting to equalize underrepresented strata. Synthetic experiments show each method outperforms global baselines in its targeted setting, and expert evaluation on two real-world datasets confirms that covariate-aware generation surfaces more useful hypotheses within relevant subgroups.