¿Acertaron las encuestas del 27S? Un repaso a sus cifras y a nuestra predicción

g2

Las elecciones catalanas se presentaban complicadas para los encuestadores. Eran unos comicios excepcionales y es difícil hacer estádistica de lo excepcional. Concurrían nuevos partidos, la participación se presumía histórica y el sentido del voto era para muchos inédito: un plebiscito. Pero las encuestas hicieron un buen trabajo. Aquí explico por qué.

También en EL ESPAÑOL:

Nota. Que un modelo probabilístico se demuestre bien calibrado es en esencia otra forma de precisión. Pero para los propósitos de este artículo he creído que la distinción entre precisión y calibración era útil.

Radiografía del resultado: así votó Cataluña en su noche más decisiva

comarcas_indepen

Artur Mas convocó las elecciones del 27S con la intención de impulsar el proceso soberanista. Pero menos de la mitad de los votantes ha respaldado a las dos listas que defendían abiertamente la independencia: Junts pel Sí y la CUP. Aquí la mejor radiografía de la cita electoral: datos, análisis y contexto. 

Las elecciones catalanas se presentaban complicadas para los encuestadores. Eran unos comicios excepcionales y es difícil hacer estadística de lo excepcional. Concurrían nuevos partidos, la participación se presumía histórica y el sentido del voto era para muchos inédito: un plebiscito. Pero las encuestas hicieron un buen trabajo. Aquí explico por qué.

1. El promedio de sondeos funcionó.

El gráfico compara 20 sondeos con los resultados de las elecciones del domingo. Los sondeos son los de Sigma Dos, GAPS, GESOP, NC Report, Invymark, IBES, Feedback, CIS, Metroscopia, DYM, GAD3, Celeste Tel y My Word.

g1

El promedio de encuestas anticipó la imagen general que dejaron las urnas. JxSí, el PP y CUP fueron bien estimados. Tambien el PSC. La mayor desviación se dió con Ciudadanos y Catalunya Sí que es Pot (CSP). El primero había sido infraestimado y el segundo sobreestimado, justo al revés de lo que pasó en las municipales de mayo.

2. Nuestro modelo fue razonablemente preciso.

Basándome en los sondeos, publiqué dos días antes del 27S un modelo de predicción para las elecciones. El modelo estimaba cuántos diputados lograría cada partido y con qué probabilidad.

A continuación evalúo que tal lo hizo ese modelo. El gráfico compara los diputados de cada partido con las predicciones probabilísticas del modelo.

g2

(Las áreas de color son histogramas y representan la probabilidad que tiene cada partido de lograr cierto número de escaños.)

La precisión del modelo fue notable. Acertó el partido ganador, acertó quién sería segundo y el orden de todos los partidos excepto el PSC y CSP, que se intercambiaron. La predicción más probable se desvió menos de dos escaños para JxSí, PSC, PP, CUP y Unió. Las mayores desviaciones se dieron con Cs y CSP. Pero desde el principio sus resultados eran los más inciertos: sus distribuciones de probabilidad eran las más anchas.

El modelo predijo también los resultados del independentismo. Anticipó que JxSí no tendría mayoría absoluta y que la suma con CUP lograría mayoría de escaños pero no de votos. Sus predicciones mediana para los escaños de JxSí y la CUP casi coinciden con los resultados reales.

Captura de pantalla 2015-09-30 a las 23.48.26

También las predicciones de votos:

g4

Estoy también satisfecho con las predicciones en cada provincia. En Barcelona la precisión fue similar a la general. En Tarragona la predicción de más probabilidad acertó para JxSí, PSC, CUP y Unió. En Lleida, para PSC, PP, CUP, Unió y JxSí. En Girona, para todos los partidos. (Gráficos de Barcelona, Tarragona, Lleida y Girona.)

3. Un reloj parado.

Mi primer objetivo con el modelo es que fuese fiable. Sus predicciones no son audaces ni finísimas: son cautas. Por eso había muchos resultados posibles en el segundo gráfico. No es así por capricho. Es así porque observar las encuestas de los últimos años me sugiere que ésa es la precisión que podemos esperar.

Estos eran los intervalos del 50% de probabilidad que el modelo asignaba a cada partido:

  • JxSí: [59, 67]
  • Cs: [17, 23]
  • CSP: [12, 18]
  • PSC: [11, 17]
  • PP: [11, 15]
  • CUP: [ 6, 10]
  • Unió: [ 0, 3]

Son intervalos amplios e incluso así la mitad de las veces la realidad debía acabar fuera de ellos. Por eso las desviaciones con Ciutadans o CSP no son una sorpresa. Al final, de los siete partidos cinco cayeron dentro de los intervalos. Y aunque no puedo saberlo todavía, creo que la incertidumbre del modelo está bien calibrada.

¿Pero qué significa «bien calibrada»?

Mi modelo respeta el primer principio que enuncia Nate Silver para hacer estimaciones electorales: «Un buen modelo debe ser probabilístico, no determinista». La mayoría de modelos de predicción tienden al exceso de confianza y mi propósito es no caer en ese error. Por eso mi modelo no da predicciones muy concretas si no puede —y generalmente no puede— sino predicciones con distintas probabilidades.

Para calibrar un modelo probabilístico hay que comprobar que sus predicciones aciertan con la probabilidad prevista. Por ejemplo, si mi modelo dice que el partido X tiene un 60% de probabilidades de lograr escaños, quiero que eso suceda un 60% de las veces. Si sucede solo el 10% de las veces el modelo está mal. Pero también está mal si sucede el 95% del tiempo. Ese modelo está mal calibrado.

Podéis pensar en las predicciones meteorológicas. No espero que el hombre del tiempo me diga con certeza si lloverá el sábado. Pero si me dice que la probabilidad de lluvia es del 20%, lo que espero es que acierte cuatro de cada cinco veces.

En resumen, al evaluar la bondad de un modelo probabilístico podemos hablar de dos cosas: de su precisión y de su calibración. Un modelo es muy preciso si dice exactamente qué va a ocurrir. Esos modelos son geniales, pero difíciles de encontrar para fenómenos complejos. Por eso las elecciones se predicen con modelos probabilísticos. Y esos modelos quiero que estén bien calibrados: si me dicen que un suceso tiene una probabilidad del 66%, deberán acertar dos de cada tres veces.

4. Conclusión.

Tras las elecciones el modelo de predicción sale reforzado. Sus limitaciones siguen ahí —y de ellas hablaré otro día— pero sus predicciones para el 27S fueron bastante precisas.

Si el modelo falló fue más bien por acertar demasiado. Quizás el modelo está ligeramente mal calibrado y fue demasiado conservador. O lo que es más probable: quizás tuvo algo de suerte. Si la razón es una u otra sólo lo sabremos dentro de muchas tiradas, cuando podamos distinguir la estructura del azar.

_____________

También en EL ESPAÑOL:

Nota. Que un modelo probabilístico se demuestre bien calibrado es en esencia otra forma de precisión. Pero para los propósitos de este artículo he creído que la distinción entre precisión y calibración era útil.

Así votarán los catalanes según el promedio de los últimos sondeos

votoEl próximo domingo se celebran unas elecciones catalanas de especial trascendencia por el carácter plebiscitario que les dan las fuerzas independentistas. A continuación analizo lo que nos dicen las últimas encuestas sobre esos comicios.

El próximo domingo se celebran unas elecciones catalanas de especial trascendencia por el carácter plebiscitario que les dan las fuerzas independentistas. A continuación analizo lo que nos dicen las últimas encuestas sobre esos comicios.

1. La estimación de votos

En el primer gráfico muestro las estimaciones de voto según 20 sondeos publicados desde julio. Además incluyo un promedio de los sondeos ponderado según el tamaño de muestra y la fecha de cada uno.

voto(Nota: la metodología es similar a la que he usado para las elecciones generales.)

Según las encuestas, la candidatura donde se integran ERC y Convergència, Junts pel Sí, lograría alrededor del 40% de los votos. Detrás vendrían Ciutadans (15%), Catalunya Sí que es Pot (12%) —la coalición formada por ICV, EUiA, Equo y Podemos—, el PSC (11%), el PP (10%), la CUP (7%) y Unió (3%).

2. La estimación de escaños

En las últimas semanas también se han publicado varias estimaciones de escaños que recojo en el siguiente gráfico.

esc

Según los sondeos, Junts pel Sí no lograría la mayoría absoluta, que está fijada en 68 escaños. Pero sacaría alrededor de 63 y tendría una amplísima ventaja sobre el resto de partidos. Ciutadans sería la segunda fuerza con 20 escaños, seguida de CSP (15), PSC (14), PP (13), CUP (8) y Unió (0-2).

Estas estimaciones de escaños, sin embargo, deben tomarse con cautela porque pequeñas variaciones en los votos pueden modificarlas mucho.

3. La suma de JxSí y la CUP en votos y en escaños

Acabamos de ver que la suma de JxSí y la CUP no supera el 50% de votos en las encuestas. Pero los dos partidos que proponen ir hacía la independencia sí sumarían una mayoría de escaños en el Parlament de Cataluña.

mayorias

En el gráfico he incluido la suma de fuerzas de JxSí y la CUP en los sondeos. La encuesta de GAPS es la única que da una mayoría de votos. En cambio todas las encuestas excepto dos de NC Report les dan una mayoría de escaños.

4. La evolución del voto

Para acabar, en este último gráfico represento la evolución de las estimaciones de voto desde principios de julio hasta hoy.

serie

Durante la campaña se observa una subida de JxSí y de la CUP, aunque muy ligera (alrededor de un 1% cada uno). La celebración de la Diada y el resto de eventos en estas dos semanas parecen haber reforzado a los partidarios del independentismo.

Del resto, el único movimiento lo protagoniza Catalunya sí que es Pot, la coalición de Podemos e ICV, que no sólo no habría conseguido potenciar su marca durante la campaña sino que habría retrocedido ligeramente.

En resumen, las últimas encuestas apuntan a que JxSí ganará las elecciones aunque no logrará la mayoría absoluta. Sí la alcanzaría con el apoyo de la CUP, aunque no es seguro que la organización de izquierdas vaya a investir a Artur Mas como president. Las encuestas dicen también que Ciutadans será la segunda fuerza, seguido de Catalunya sí que es Pot. Sin embargo, la relativa novedad de ambos partidos hace que sus previsiones se rodeen de más incertidumbre que las del resto.

También en EL ESPAÑOL:

Así son los catalanes que votarán el 27S. Una radiografía en cinco gráficos.

Las encuestas de las elecciones catalanas en cuatro gráficos

votos

El próximo 27 de septiembre se celebran las elecciones catalanas. Unas elecciones de especial trascendencia por el carácter plebiscitario que les dan las fuerzas independentistas. A continuación analizo las encuestas que se han publicado en las últimas semanas.

El próximo 27 de septiembre se celebran las elecciones catalanas. Unas elecciones de especial trascendencia por el carácter plebiscitario que les dan las fuerzas independentistas. A continuación analizo las encuestas de las últimas semanas, incluyendo el CIS publicado hace unos minutos.

1. La estimación de votos

En el primer gráfico muestro las estimaciones de voto según ocho sondeos publicados desde julio hasta el día de ayer. Además incluyo un promedio de los sondeos, ponderado según el tamaño de muestra y la fecha de cada uno.

votos 2

(Nota: la metodología es similar a la que he usado para las elecciones generales.)

Según las encuestas, la candidatura donde se integran ERC y Convergència, Junts pel Sí, lograría alrededor del 40% de los votos. Detrás vendrían Ciutadans (15%), Catalunya Sí que es Pot (13%) —la coalición formada por ICV, EUiA, Equo y Podemos—, el PSC (11%), el PP (10%), la CUP (6%) y Unió (3%).

2. La estimación de escaños

En las últimas semanas también se han publicado varias estimaciones de escaños, que recojo en el siguiente gráfico.

escaños 2

Según los sondeos, la coalición que integra a CDC, ERC y varias organizaciones independentistas no lograría la mayoría absoluta, que está fijada en 68 escaños. Pero sacaría alrededor de 62 y tendría una amplísima ventaja sobre el resto de partidos. Ciutadans sería la segunda fuerza con 21 escaños, seguida de CSP (16), PSC (15), PP (13), CUP (7) y Unió (2).

Pero estas estimaciones de escaños deben tomarse con cautela por varias razones. La primera es que los porcentajes de voto de cada partido todavía son dudosos. La segunda es que el reparto de escaños se hace por provincias y a ese nivel la muestra de las encuestas es pequeña y eso amplifica los errores. Además, los partidos tienen que superar como mínimo la barrera del 3% —y generalmente cifras mayores fuera de Barcelona— para entrar al reparto de los escaños en cada provincia. Eso afecta sobre todo a Unió y a las CUP. Dependiendo de si supera esa barrera efectiva en las cuatro provincias o en ninguna, sus escaños cambiarán mucho y en consecuencia también los del resto de partidos.

3. La suma de JxSí y las CUP en votos y en escaños

En los datos anteriores hemos visto que según las encuestas publicadas la suma de JxSí y las CUP no superará el 50% de los votos. Pero los dos partidos que proponen ir hacía la independencia sí sumarían una mayoría de escaños en el Parlament de Cataluña.

sumas 2

En el gráfico he incluido la suma de fuerzas de JxSí y CUP en los cinco sondeos más recientes (los de CIS, Sigma Dos, GAPS, GESOP y NC Report). La encuesta de GAPS es la única que les da una mayoría de votos. En cambio todas las encuestas excepto la de NC Report les dan una mayoría de escaños. La encuesta del CIS publicada hoy deja a JxSí y las CUP justo entre 68 y 69 escaños, al límite de lograr la mayoría.

4. La evolución del voto

En este último gráfico represento la evolución de las estimaciones de voto desde principios de julio hasta hoy.

serie 2

Este tipo de gráficos es útil para observar las tendencias de voto: véase el caso de las próximas elecciones griegas o de las generales. Sin embargo, en esta ocasión los datos son menos informativos porque tenemos pocos sondeos recientes en Cataluña. Aún así, parece observarse una subida de JxSí tras el verano -que sería razonable porque por entonces la coalición acababa de presentarse- y una caída de Ciutadans y de CSP, que quizás no sea significativa pero que encaja con la tendencia a la baja de Ciudadanos y Podemos a nivel nacional.

En resumen, las encuestas publicadas hasta ahora apuntan a que JxSí ganará las elecciones aunque no logrará la mayoría absoluta. Sí la alcanzaría con el apoyo de la CUP, pero no es seguro que la organización de izquierdas vaya a investir a Artur Mas como president.

La imagen que dejan los sondeos es imprecisa pero se irá aclarando con la llegada de nuevas encuestas. Con ellas iré actualizaré mi estimación aquí en EL ESPAÑOL.

Actualización (1.12pm): He retocado la media de los sondeos después de la publicación de la encuesta del CIS.