¿Acertaron las encuestas del 27S? Un repaso a sus cifras y a nuestra predicción

g2

Las elecciones catalanas se presentaban complicadas para los encuestadores. Eran unos comicios excepcionales y es difícil hacer estádistica de lo excepcional. Concurrían nuevos partidos, la participación se presumía histórica y el sentido del voto era para muchos inédito: un plebiscito. Pero las encuestas hicieron un buen trabajo. Aquí explico por qué.

También en EL ESPAÑOL:

Nota. Que un modelo probabilístico se demuestre bien calibrado es en esencia otra forma de precisión. Pero para los propósitos de este artículo he creído que la distinción entre precisión y calibración era útil.

Radiografía del resultado: así votó Cataluña en su noche más decisiva

comarcas_indepen

Artur Mas convocó las elecciones del 27S con la intención de impulsar el proceso soberanista. Pero menos de la mitad de los votantes ha respaldado a las dos listas que defendían abiertamente la independencia: Junts pel Sí y la CUP. Aquí la mejor radiografía de la cita electoral: datos, análisis y contexto. 

Las elecciones catalanas se presentaban complicadas para los encuestadores. Eran unos comicios excepcionales y es difícil hacer estadística de lo excepcional. Concurrían nuevos partidos, la participación se presumía histórica y el sentido del voto era para muchos inédito: un plebiscito. Pero las encuestas hicieron un buen trabajo. Aquí explico por qué.

1. El promedio de sondeos funcionó.

El gráfico compara 20 sondeos con los resultados de las elecciones del domingo. Los sondeos son los de Sigma Dos, GAPS, GESOP, NC Report, Invymark, IBES, Feedback, CIS, Metroscopia, DYM, GAD3, Celeste Tel y My Word.

g1

El promedio de encuestas anticipó la imagen general que dejaron las urnas. JxSí, el PP y CUP fueron bien estimados. Tambien el PSC. La mayor desviación se dió con Ciudadanos y Catalunya Sí que es Pot (CSP). El primero había sido infraestimado y el segundo sobreestimado, justo al revés de lo que pasó en las municipales de mayo.

2. Nuestro modelo fue razonablemente preciso.

Basándome en los sondeos, publiqué dos días antes del 27S un modelo de predicción para las elecciones. El modelo estimaba cuántos diputados lograría cada partido y con qué probabilidad.

A continuación evalúo que tal lo hizo ese modelo. El gráfico compara los diputados de cada partido con las predicciones probabilísticas del modelo.

g2

(Las áreas de color son histogramas y representan la probabilidad que tiene cada partido de lograr cierto número de escaños.)

La precisión del modelo fue notable. Acertó el partido ganador, acertó quién sería segundo y el orden de todos los partidos excepto el PSC y CSP, que se intercambiaron. La predicción más probable se desvió menos de dos escaños para JxSí, PSC, PP, CUP y Unió. Las mayores desviaciones se dieron con Cs y CSP. Pero desde el principio sus resultados eran los más inciertos: sus distribuciones de probabilidad eran las más anchas.

El modelo predijo también los resultados del independentismo. Anticipó que JxSí no tendría mayoría absoluta y que la suma con CUP lograría mayoría de escaños pero no de votos. Sus predicciones mediana para los escaños de JxSí y la CUP casi coinciden con los resultados reales.

Captura de pantalla 2015-09-30 a las 23.48.26

También las predicciones de votos:

g4

Estoy también satisfecho con las predicciones en cada provincia. En Barcelona la precisión fue similar a la general. En Tarragona la predicción de más probabilidad acertó para JxSí, PSC, CUP y Unió. En Lleida, para PSC, PP, CUP, Unió y JxSí. En Girona, para todos los partidos. (Gráficos de Barcelona, Tarragona, Lleida y Girona.)

3. Un reloj parado.

Mi primer objetivo con el modelo es que fuese fiable. Sus predicciones no son audaces ni finísimas: son cautas. Por eso había muchos resultados posibles en el segundo gráfico. No es así por capricho. Es así porque observar las encuestas de los últimos años me sugiere que ésa es la precisión que podemos esperar.

Estos eran los intervalos del 50% de probabilidad que el modelo asignaba a cada partido:

  • JxSí: [59, 67]
  • Cs: [17, 23]
  • CSP: [12, 18]
  • PSC: [11, 17]
  • PP: [11, 15]
  • CUP: [ 6, 10]
  • Unió: [ 0, 3]

Son intervalos amplios e incluso así la mitad de las veces la realidad debía acabar fuera de ellos. Por eso las desviaciones con Ciutadans o CSP no son una sorpresa. Al final, de los siete partidos cinco cayeron dentro de los intervalos. Y aunque no puedo saberlo todavía, creo que la incertidumbre del modelo está bien calibrada.

¿Pero qué significa «bien calibrada»?

Mi modelo respeta el primer principio que enuncia Nate Silver para hacer estimaciones electorales: «Un buen modelo debe ser probabilístico, no determinista». La mayoría de modelos de predicción tienden al exceso de confianza y mi propósito es no caer en ese error. Por eso mi modelo no da predicciones muy concretas si no puede —y generalmente no puede— sino predicciones con distintas probabilidades.

Para calibrar un modelo probabilístico hay que comprobar que sus predicciones aciertan con la probabilidad prevista. Por ejemplo, si mi modelo dice que el partido X tiene un 60% de probabilidades de lograr escaños, quiero que eso suceda un 60% de las veces. Si sucede solo el 10% de las veces el modelo está mal. Pero también está mal si sucede el 95% del tiempo. Ese modelo está mal calibrado.

Podéis pensar en las predicciones meteorológicas. No espero que el hombre del tiempo me diga con certeza si lloverá el sábado. Pero si me dice que la probabilidad de lluvia es del 20%, lo que espero es que acierte cuatro de cada cinco veces.

En resumen, al evaluar la bondad de un modelo probabilístico podemos hablar de dos cosas: de su precisión y de su calibración. Un modelo es muy preciso si dice exactamente qué va a ocurrir. Esos modelos son geniales, pero difíciles de encontrar para fenómenos complejos. Por eso las elecciones se predicen con modelos probabilísticos. Y esos modelos quiero que estén bien calibrados: si me dicen que un suceso tiene una probabilidad del 66%, deberán acertar dos de cada tres veces.

4. Conclusión.

Tras las elecciones el modelo de predicción sale reforzado. Sus limitaciones siguen ahí —y de ellas hablaré otro día— pero sus predicciones para el 27S fueron bastante precisas.

Si el modelo falló fue más bien por acertar demasiado. Quizás el modelo está ligeramente mal calibrado y fue demasiado conservador. O lo que es más probable: quizás tuvo algo de suerte. Si la razón es una u otra sólo lo sabremos dentro de muchas tiradas, cuando podamos distinguir la estructura del azar.

_____________

También en EL ESPAÑOL:

Nota. Que un modelo probabilístico se demuestre bien calibrado es en esencia otra forma de precisión. Pero para los propósitos de este artículo he creído que la distinción entre precisión y calibración era útil.

Así votarán los catalanes según el promedio de los últimos sondeos

votoEl próximo domingo se celebran unas elecciones catalanas de especial trascendencia por el carácter plebiscitario que les dan las fuerzas independentistas. A continuación analizo lo que nos dicen las últimas encuestas sobre esos comicios.

El próximo domingo se celebran unas elecciones catalanas de especial trascendencia por el carácter plebiscitario que les dan las fuerzas independentistas. A continuación analizo lo que nos dicen las últimas encuestas sobre esos comicios.

1. La estimación de votos

En el primer gráfico muestro las estimaciones de voto según 20 sondeos publicados desde julio. Además incluyo un promedio de los sondeos ponderado según el tamaño de muestra y la fecha de cada uno.

voto(Nota: la metodología es similar a la que he usado para las elecciones generales.)

Según las encuestas, la candidatura donde se integran ERC y Convergència, Junts pel Sí, lograría alrededor del 40% de los votos. Detrás vendrían Ciutadans (15%), Catalunya Sí que es Pot (12%) —la coalición formada por ICV, EUiA, Equo y Podemos—, el PSC (11%), el PP (10%), la CUP (7%) y Unió (3%).

2. La estimación de escaños

En las últimas semanas también se han publicado varias estimaciones de escaños que recojo en el siguiente gráfico.

esc

Según los sondeos, Junts pel Sí no lograría la mayoría absoluta, que está fijada en 68 escaños. Pero sacaría alrededor de 63 y tendría una amplísima ventaja sobre el resto de partidos. Ciutadans sería la segunda fuerza con 20 escaños, seguida de CSP (15), PSC (14), PP (13), CUP (8) y Unió (0-2).

Estas estimaciones de escaños, sin embargo, deben tomarse con cautela porque pequeñas variaciones en los votos pueden modificarlas mucho.

3. La suma de JxSí y la CUP en votos y en escaños

Acabamos de ver que la suma de JxSí y la CUP no supera el 50% de votos en las encuestas. Pero los dos partidos que proponen ir hacía la independencia sí sumarían una mayoría de escaños en el Parlament de Cataluña.

mayorias

En el gráfico he incluido la suma de fuerzas de JxSí y la CUP en los sondeos. La encuesta de GAPS es la única que da una mayoría de votos. En cambio todas las encuestas excepto dos de NC Report les dan una mayoría de escaños.

4. La evolución del voto

Para acabar, en este último gráfico represento la evolución de las estimaciones de voto desde principios de julio hasta hoy.

serie

Durante la campaña se observa una subida de JxSí y de la CUP, aunque muy ligera (alrededor de un 1% cada uno). La celebración de la Diada y el resto de eventos en estas dos semanas parecen haber reforzado a los partidarios del independentismo.

Del resto, el único movimiento lo protagoniza Catalunya sí que es Pot, la coalición de Podemos e ICV, que no sólo no habría conseguido potenciar su marca durante la campaña sino que habría retrocedido ligeramente.

En resumen, las últimas encuestas apuntan a que JxSí ganará las elecciones aunque no logrará la mayoría absoluta. Sí la alcanzaría con el apoyo de la CUP, aunque no es seguro que la organización de izquierdas vaya a investir a Artur Mas como president. Las encuestas dicen también que Ciutadans será la segunda fuerza, seguido de Catalunya sí que es Pot. Sin embargo, la relativa novedad de ambos partidos hace que sus previsiones se rodeen de más incertidumbre que las del resto.

También en EL ESPAÑOL:

Así son los catalanes que votarán el 27S. Una radiografía en cinco gráficos.

¿Trias o Colau? Una predicción de sus votos y sus alianzas

concejales bcn

Los resultados anteriores prevén que ni CIU ni Barcelona en Comú lograrán la mayoría. Eso abre la puerta a pactos para nombrar al próximo alcalde de la ciudad. Sin embargo, la simulación apunta a que las coaliciones naturales no serán suficientes para sumar los 21 ediles necesarios.

También en EL ESPAÑOL:

En Barcelona votarán este domingo para elegir a su alcalde. Según las encuestas, el primer puesto se lo disputan CIU y Barcelona en Comú, la plataforma izquierdista que lleva a Ada Colau como candidata. Los dos partidos están muy lejos de lograr una mayoría que les garantice la alcaldía.

Como en el caso de Madrid, eso deja dos posibilidades. Varios partidos que sumen 21 concejales -la mayoría más uno- pueden acordar el alcalde entre sus candidatos. Si no hay un acuerdo de ese tipo, la alcaldía será para la fuerza más votada, previsiblemente Xavier Trias o Ada Colau.

A continuación describo una simulación de las elecciones al ayuntamiento de Barcelona. Los resultados nos servirán para analizar las posibilidades de cada candidato.

Los votos según las encuestas

Empiezo revisando las estimaciones de voto. El primer gráfico muestra un promedio de los sondeos del último mes que han publicado los institutos Metroscopia, Sigma dos, GESOP, GAD3 y Feedback.

encuestas bcn

El gráfico refleja la dispersión de las encuestas. Esa dispersión se debe al menos a tres factores: los errores de muestreo, los cambios temporales y las diferencias en los ajustes que hace cada encuestador: lo que conocemos como la cocina.

Al agregar los sondeos, esta dispersión disminuye pero la incertidumbre no desaparece. Como ya expliqué al hablar del caso de Madrid, los sondeos y los resultados pueden desviarse por muchas otras razones. Es posible, por ejemplo, que todas las encuestas se equivoquen en la misma dirección o que durante esta semana los electores tomen decisiones imprevistas. Por estas razones, antes de hacer una predicción debemos asumir que no sabemos lo suficiente como para ser precisos.

Añadiendo incertidumbre

A continuación utilizo la media de las encuestas para predecir cuántos concejales logrará cada partido. Pero antes añadiremos una incertidumbre hipotética. Partiendo del promedio de votos, hago 10.000 simulaciones añadiendo varianza según los márgenes de error y cierta incertidumbre. La distribución de votos que resulta puede verse en este gráfico.

Los resultados de la simulación se muestran a continuación. El gráfico representa el número de concejales que lograría cada uno de los partidos.

concejales bcn

El primer partido sería CIU con alrededor de 10 concejales. Apenas uno más de los que obtendría Barcelona en Comú. Sin embargo, ambos partidos pueden ganar y perder otro concejal con mucha facilidad e incluso alejarse bastante de esa horquilla. Lo que se antoja muy difícil a la luz de las encuestas es que uno u otro logre la mayoría absoluta, que está fijada en 21 concejales.

Hasta cinco partidos más podrian obtener representantes en el ayuntamiento. Ciutadans lograría alrededor de cinco y siete, el PSC cinco o seis, ERC y el PP sobre cuatro o cinco. Además, la CUP tendrían alrededor de un 70% de posibilidades de lograr algún concejal.

Posibles mayorías 

Los resultados anteriores prevén que ni CIU ni Barcelona en Comú lograrán la mayoría. Eso abre la puerta a pactos para nombrar al próximo alcalde de la ciudad. Sin embargo, la simulación apunta a que las coaliciones naturales no serán suficientes para sumar los 21 ediles necesarios.

mayorias bcn

Un pacto entre CIU, ERC y la CUP no sería suficiente para conseguir los 21 concejales. Tampoco un hipotético acuerdo entre Barcelona en Comú y el PSC.

Con tanta fragmentación, las únicas alianzas posibles serían entre socios a priori sorprendentes. Un acuerdo a cuatro bandas entre CIU, ERC, la CUP y el PSC tendría un 42% de lograr la mayoría. Las mismas que  un acuerdo entre Barcelona en Comú, PSC y Ciutadans.

Lo extraño de estos acuerdos hace que quedar primero sea fundamental. Porque si ninguna alianza sale adelante, el alcalde será el candidato más votado. Previsiblemente Trias o Colau. ¿Pero cuál de los dos tiene más probabilidades? Las encuestas no se ponen de acuerdo. Pero si hacemos caso de ellas, nuestro modelo dice que el más votado será Trias con una probabilidad del 71%.

También en EL ESPAÑOL:


Nota. Para acabar, permitidme repetir la nota de precaución. Es importante recordar que las probabilidades que he calculado se basan en asumir una incertidumbre hipotética. Si las encuestas fallasen por un margen aún más amplio, los resultados del próximo domingo pueden ser distintos. Creo que eso es improbable pero lo único seguro es que es posible: en las urnas no hay ningún voto todavía.

Algunos detalles técnicos. En las 10.000 simulaciones parto de una media de las seis encuestas del último mes. Para generar la variabilidad por muestreo uso una distribución normal de desviación estándar tal que replico los márgenes de error considerando la muestra total (truncada para evitar negativos). Los márgenes de error los estimo a partir del porcentaje de voto promedio de cada partido (no uso el peor caso). A esa variabilidad añado otra que representa la incertidumbre asumida. Esa incertidumbre corresponde con una distribución normal de media cero y desviación estándar 0,25 + 0,15 votos. Eso implica asumir que el intervalo del 95% para los votos de cada partido es: ±(0,5+0,15 votos). La distribución de votos que resulta de añadir esta variabilidad por muestre e incertidumbre puede verse en este gráfico. En cada una de las 10.000 iteraciones, a partir de los votos calculo el reparto de concejales aplicando la regla D’Hondt y la barrera mínima del 5%.