Posição: A Complexidade do Alinhamento Perfeito da IA -- Formalizando o Trilema do RLHF

Position: The Complexity of Perfect AI Alignment -- Formalizing the RLHF Trilemma

November 23, 2025

Autores: Subramanyam Sahoo, Aman Chadha, Vinija Jain, Divya Chaudhary

cs.AI

Resumo

O Aprendizado por Reforço com Feedback Humano (RLHF) é amplamente utilizado para alinhar grandes modelos de linguagem, mas os profissionais enfrentam um dilema persistente: melhorar a segurança frequentemente reduz a equidade, escalar para populações diversas torna-se computacionalmente intratável e tornar os sistemas robustos frequentemente amplifica vieses majoritários. Formalizamos esta tensão como o Trilema do Alinhamento: nenhum sistema RLHF pode alcançar simultaneamente (i) épsilon-representatividade em diversos valores humanos, (ii) tratabilidade polinomial em complexidade amostral e computacional, e (iii) delta-robustez contra perturbações adversariais e mudanças de distribuição. Através de uma análise de complexidade teórica que integra teoria estatística de aprendizagem e otimização robusta, provamos que alcançar tanto representatividade (épsilon <= 0.01) quanto robustez (delta <= 0.001) para populações em escala global requer Omega(2^{d_contexto}) operações, o que é super-polinomial na dimensionalidade do contexto. Mostramos que as implementações atuais de RLHF resolvem este trilema sacrificando a representatividade: elas coletam apenas 10^3--10^4 amostras de grupos homogêneos de anotadores, enquanto 10^7--10^8 amostras são necessárias para uma verdadeira representação global. Nosso framework fornece uma explicação unificada para patologias documentadas do RLHF, incluindo colapso de preferências, sicofância e amplificação sistemática de viés. Concluímos com direções concretas para navegar por esses trade-offs fundamentais através de relaxamentos estratégicos dos requisitos de alinhamento.

English

Reinforcement Learning from Human Feedback (RLHF) is widely used for aligning large language models, yet practitioners face a persistent puzzle: improving safety often reduces fairness, scaling to diverse populations becomes computationally intractable, and making systems robust often amplifies majority biases. We formalize this tension as the Alignment Trilemma: no RLHF system can simultaneously achieve (i) epsilon-representativeness across diverse human values, (ii) polynomial tractability in sample and compute complexity, and (iii) delta-robustness against adversarial perturbations and distribution shift. Through a complexity-theoretic analysis integrating statistical learning theory and robust optimization, we prove that achieving both representativeness (epsilon <= 0.01) and robustness (delta <= 0.001) for global-scale populations requires Omega(2^{d_context}) operations, which is super-polynomial in the context dimensionality. We show that current RLHF implementations resolve this trilemma by sacrificing representativeness: they collect only 10^3--10^4 samples from homogeneous annotator pools while 10^7--10^8 samples are needed for true global representation. Our framework provides a unified explanation for documented RLHF pathologies including preference collapse, sycophancy, and systematic bias amplification. We conclude with concrete directions for navigating these fundamental trade-offs through strategic relaxations of alignment requirements.