El Futuro Está Desigualmente Distribuido: La Capacidad Predictiva de los LLMs Depende de lo que Preguntemos

Future Is Unevenly Distributed: Forecasting Ability of LLMs Depends on What We're Asking

November 23, 2025

Autores: Chinmay Karkar, Paras Chopra

cs.AI

Resumen

Los Modelos de Lenguaje a Gran Escala (LLM) demuestran una competencia predictiva parcial en eventos sociales, políticos y económicos. Sin embargo, su capacidad predictiva varía notablemente según la estructura del dominio y el encuadre de los prompts. Investigamos cómo varía el rendimiento predictivo entre diferentes familias de modelos en preguntas del mundo real sobre eventos ocurridos después de la fecha de corte del modelo. Analizamos cómo el contexto, el tipo de pregunta y el conocimiento externo afectan la precisión y la calibración, y cómo la adición de contexto noticioso factual modifica la formación de creencias y los modos de fallo. Nuestros resultados muestran que la capacidad predictiva es altamente variable, ya que depende de qué preguntamos y cómo lo hacemos.

English

Large Language Models (LLMs) demonstrate partial forecasting competence across social, political, and economic events. Yet, their predictive ability varies sharply with domain structure and prompt framing. We investigate how forecasting performance varies with different model families on real-world questions about events that happened beyond the model cutoff date. We analyze how context, question type, and external knowledge affect accuracy and calibration, and how adding factual news context modifies belief formation and failure modes. Our results show that forecasting ability is highly variable as it depends on what, and how, we ask.