¿Acertaron las encuestas del 27S? Un repaso a sus cifras y a nuestra predicción

g2

Las elecciones catalanas se presentaban complicadas para los encuestadores. Eran unos comicios excepcionales y es difícil hacer estádistica de lo excepcional. Concurrían nuevos partidos, la participación se presumía histórica y el sentido del voto era para muchos inédito: un plebiscito. Pero las encuestas hicieron un buen trabajo. Aquí explico por qué.

También en EL ESPAÑOL:

Nota. Que un modelo probabilístico se demuestre bien calibrado es en esencia otra forma de precisión. Pero para los propósitos de este artículo he creído que la distinción entre precisión y calibración era útil.

Radiografía del resultado: así votó Cataluña en su noche más decisiva

comarcas_indepen

Artur Mas convocó las elecciones del 27S con la intención de impulsar el proceso soberanista. Pero menos de la mitad de los votantes ha respaldado a las dos listas que defendían abiertamente la independencia: Junts pel Sí y la CUP. Aquí la mejor radiografía de la cita electoral: datos, análisis y contexto. 

Las elecciones catalanas se presentaban complicadas para los encuestadores. Eran unos comicios excepcionales y es difícil hacer estadística de lo excepcional. Concurrían nuevos partidos, la participación se presumía histórica y el sentido del voto era para muchos inédito: un plebiscito. Pero las encuestas hicieron un buen trabajo. Aquí explico por qué.

1. El promedio de sondeos funcionó.

El gráfico compara 20 sondeos con los resultados de las elecciones del domingo. Los sondeos son los de Sigma Dos, GAPS, GESOP, NC Report, Invymark, IBES, Feedback, CIS, Metroscopia, DYM, GAD3, Celeste Tel y My Word.

g1

El promedio de encuestas anticipó la imagen general que dejaron las urnas. JxSí, el PP y CUP fueron bien estimados. Tambien el PSC. La mayor desviación se dió con Ciudadanos y Catalunya Sí que es Pot (CSP). El primero había sido infraestimado y el segundo sobreestimado, justo al revés de lo que pasó en las municipales de mayo.

2. Nuestro modelo fue razonablemente preciso.

Basándome en los sondeos, publiqué dos días antes del 27S un modelo de predicción para las elecciones. El modelo estimaba cuántos diputados lograría cada partido y con qué probabilidad.

A continuación evalúo que tal lo hizo ese modelo. El gráfico compara los diputados de cada partido con las predicciones probabilísticas del modelo.

g2

(Las áreas de color son histogramas y representan la probabilidad que tiene cada partido de lograr cierto número de escaños.)

La precisión del modelo fue notable. Acertó el partido ganador, acertó quién sería segundo y el orden de todos los partidos excepto el PSC y CSP, que se intercambiaron. La predicción más probable se desvió menos de dos escaños para JxSí, PSC, PP, CUP y Unió. Las mayores desviaciones se dieron con Cs y CSP. Pero desde el principio sus resultados eran los más inciertos: sus distribuciones de probabilidad eran las más anchas.

El modelo predijo también los resultados del independentismo. Anticipó que JxSí no tendría mayoría absoluta y que la suma con CUP lograría mayoría de escaños pero no de votos. Sus predicciones mediana para los escaños de JxSí y la CUP casi coinciden con los resultados reales.

Captura de pantalla 2015-09-30 a las 23.48.26

También las predicciones de votos:

g4

Estoy también satisfecho con las predicciones en cada provincia. En Barcelona la precisión fue similar a la general. En Tarragona la predicción de más probabilidad acertó para JxSí, PSC, CUP y Unió. En Lleida, para PSC, PP, CUP, Unió y JxSí. En Girona, para todos los partidos. (Gráficos de Barcelona, Tarragona, Lleida y Girona.)

3. Un reloj parado.

Mi primer objetivo con el modelo es que fuese fiable. Sus predicciones no son audaces ni finísimas: son cautas. Por eso había muchos resultados posibles en el segundo gráfico. No es así por capricho. Es así porque observar las encuestas de los últimos años me sugiere que ésa es la precisión que podemos esperar.

Estos eran los intervalos del 50% de probabilidad que el modelo asignaba a cada partido:

  • JxSí: [59, 67]
  • Cs: [17, 23]
  • CSP: [12, 18]
  • PSC: [11, 17]
  • PP: [11, 15]
  • CUP: [ 6, 10]
  • Unió: [ 0, 3]

Son intervalos amplios e incluso así la mitad de las veces la realidad debía acabar fuera de ellos. Por eso las desviaciones con Ciutadans o CSP no son una sorpresa. Al final, de los siete partidos cinco cayeron dentro de los intervalos. Y aunque no puedo saberlo todavía, creo que la incertidumbre del modelo está bien calibrada.

¿Pero qué significa «bien calibrada»?

Mi modelo respeta el primer principio que enuncia Nate Silver para hacer estimaciones electorales: «Un buen modelo debe ser probabilístico, no determinista». La mayoría de modelos de predicción tienden al exceso de confianza y mi propósito es no caer en ese error. Por eso mi modelo no da predicciones muy concretas si no puede —y generalmente no puede— sino predicciones con distintas probabilidades.

Para calibrar un modelo probabilístico hay que comprobar que sus predicciones aciertan con la probabilidad prevista. Por ejemplo, si mi modelo dice que el partido X tiene un 60% de probabilidades de lograr escaños, quiero que eso suceda un 60% de las veces. Si sucede solo el 10% de las veces el modelo está mal. Pero también está mal si sucede el 95% del tiempo. Ese modelo está mal calibrado.

Podéis pensar en las predicciones meteorológicas. No espero que el hombre del tiempo me diga con certeza si lloverá el sábado. Pero si me dice que la probabilidad de lluvia es del 20%, lo que espero es que acierte cuatro de cada cinco veces.

En resumen, al evaluar la bondad de un modelo probabilístico podemos hablar de dos cosas: de su precisión y de su calibración. Un modelo es muy preciso si dice exactamente qué va a ocurrir. Esos modelos son geniales, pero difíciles de encontrar para fenómenos complejos. Por eso las elecciones se predicen con modelos probabilísticos. Y esos modelos quiero que estén bien calibrados: si me dicen que un suceso tiene una probabilidad del 66%, deberán acertar dos de cada tres veces.

4. Conclusión.

Tras las elecciones el modelo de predicción sale reforzado. Sus limitaciones siguen ahí —y de ellas hablaré otro día— pero sus predicciones para el 27S fueron bastante precisas.

Si el modelo falló fue más bien por acertar demasiado. Quizás el modelo está ligeramente mal calibrado y fue demasiado conservador. O lo que es más probable: quizás tuvo algo de suerte. Si la razón es una u otra sólo lo sabremos dentro de muchas tiradas, cuando podamos distinguir la estructura del azar.

_____________

También en EL ESPAÑOL:

Nota. Que un modelo probabilístico se demuestre bien calibrado es en esencia otra forma de precisión. Pero para los propósitos de este artículo he creído que la distinción entre precisión y calibración era útil.

Así votarán los catalanes según el promedio de los últimos sondeos

votoEl próximo domingo se celebran unas elecciones catalanas de especial trascendencia por el carácter plebiscitario que les dan las fuerzas independentistas. A continuación analizo lo que nos dicen las últimas encuestas sobre esos comicios.

El próximo domingo se celebran unas elecciones catalanas de especial trascendencia por el carácter plebiscitario que les dan las fuerzas independentistas. A continuación analizo lo que nos dicen las últimas encuestas sobre esos comicios.

1. La estimación de votos

En el primer gráfico muestro las estimaciones de voto según 20 sondeos publicados desde julio. Además incluyo un promedio de los sondeos ponderado según el tamaño de muestra y la fecha de cada uno.

voto(Nota: la metodología es similar a la que he usado para las elecciones generales.)

Según las encuestas, la candidatura donde se integran ERC y Convergència, Junts pel Sí, lograría alrededor del 40% de los votos. Detrás vendrían Ciutadans (15%), Catalunya Sí que es Pot (12%) —la coalición formada por ICV, EUiA, Equo y Podemos—, el PSC (11%), el PP (10%), la CUP (7%) y Unió (3%).

2. La estimación de escaños

En las últimas semanas también se han publicado varias estimaciones de escaños que recojo en el siguiente gráfico.

esc

Según los sondeos, Junts pel Sí no lograría la mayoría absoluta, que está fijada en 68 escaños. Pero sacaría alrededor de 63 y tendría una amplísima ventaja sobre el resto de partidos. Ciutadans sería la segunda fuerza con 20 escaños, seguida de CSP (15), PSC (14), PP (13), CUP (8) y Unió (0-2).

Estas estimaciones de escaños, sin embargo, deben tomarse con cautela porque pequeñas variaciones en los votos pueden modificarlas mucho.

3. La suma de JxSí y la CUP en votos y en escaños

Acabamos de ver que la suma de JxSí y la CUP no supera el 50% de votos en las encuestas. Pero los dos partidos que proponen ir hacía la independencia sí sumarían una mayoría de escaños en el Parlament de Cataluña.

mayorias

En el gráfico he incluido la suma de fuerzas de JxSí y la CUP en los sondeos. La encuesta de GAPS es la única que da una mayoría de votos. En cambio todas las encuestas excepto dos de NC Report les dan una mayoría de escaños.

4. La evolución del voto

Para acabar, en este último gráfico represento la evolución de las estimaciones de voto desde principios de julio hasta hoy.

serie

Durante la campaña se observa una subida de JxSí y de la CUP, aunque muy ligera (alrededor de un 1% cada uno). La celebración de la Diada y el resto de eventos en estas dos semanas parecen haber reforzado a los partidarios del independentismo.

Del resto, el único movimiento lo protagoniza Catalunya sí que es Pot, la coalición de Podemos e ICV, que no sólo no habría conseguido potenciar su marca durante la campaña sino que habría retrocedido ligeramente.

En resumen, las últimas encuestas apuntan a que JxSí ganará las elecciones aunque no logrará la mayoría absoluta. Sí la alcanzaría con el apoyo de la CUP, aunque no es seguro que la organización de izquierdas vaya a investir a Artur Mas como president. Las encuestas dicen también que Ciutadans será la segunda fuerza, seguido de Catalunya sí que es Pot. Sin embargo, la relativa novedad de ambos partidos hace que sus previsiones se rodeen de más incertidumbre que las del resto.

También en EL ESPAÑOL:

Así son los catalanes que votarán el 27S. Una radiografía en cinco gráficos.

Así votarían los españoles: suben PP y PSOE pero el bipartidismo sigue en mínimos históricos

uno

Retroceden los partidos emergentes y avanzan los tradicionales. No obstante, el avance de PP y PSOE es sólo relativo. El bipartidismo sigue en mínimos históricos: la suma de los dos grandes partidos nunca ha bajado del 60% de votos en unas elecciones generales y las encuestas presagian ahora un 52%.

Quedan tres meses para las generales y en Cataluña arranca ya una precampaña de facto. Desde ahora y durante el otoño van a sucederse los acontecimientos: habrá elecciones en Grecia y luego en Cataluña, conoceremos datos económicos y casos de corrupción. Todo eso en el escenario electoral más convulso de las últimas décadas. Pero, ¿cuál es el punto de partida? ¿Cómo votarían los ciudadanos si estuvieran llamados hoy mismo a las urnas?

A continuación tenéis el promedio de encuestas que estoy haciendo en EL ESPAÑOL. El primer gráfico muestra el promedio y las 15 encuestas más recientes, incluidas varias de esta semana. El resultado es un escenario con cuatro partidos escalonados: PP (28%), PSOE (25%), Podemos (17%) y Ciudadanos (12%).

uno

(Observaréis que existen grandes diferencias entre encuestas: ésa es la razón por la que hacemos un promedio de consenso. El promedio es una media de 75 encuestas ponderadas por fecha y muestra cuyos detalles podéis encontrar en la metodología.)

El gráfico anterior es la foto fija del momento. Pero podemos observar también como ha ido evolucionando el apoyo de cada partido desde 2014. Aunque el ruido de las encuestas oculta las tendencias, éstas emergen nítidas en el promedio.

dos

En el gráfico vemos que el PP mantiene una línea ascendente y que gana tres o cuatro puntos desde abril. También el PSOE mejora, quizás más lentamente.

En cambio, Podemos retrocede desde el inicio de 2015. En diciembre llegó a ser la segunda fuerza, pero ha perdido simpatizantes y cae de aquel 25% de voto estimado al 17%. El partido de Pablo Iglesias pierde un tercio de sus apoyos, aunque se mantiene tercero con holgura. Detrás viene Ciudadanos, que también retrocede desde su máximo de abril.

Ésas son las tendencias actuales: retroceden los partidos emergentes y avanzan los tradicionales. No obstante, el avance de PP y PSOE es sólo relativo. El bipartidismo sigue en mínimos históricos: la suma de los dos grandes partidos nunca ha bajado del 60% de votos en unas elecciones generales y desde 1993 superó siempre el 70%. Las encuestas presagian ahora un 52% de voto para la suma de PP y PSOE y eso haría de las elecciones de diciembre las menos bipartidistas de la democracia.

tres

¿Pero a qué se debe el avance del PP y el PSOE en los últimos meses? Se han propuesto al menos tres explicaciones diferentes, aunque no excluyentes.

Para algunos, el avance tiene que ver con la economía: desde hace unos meses los ciudadanos somos menos pesimistas con la situación del país, lo que estaría beneficiando al PP, dado que es el partido en el gobierno, pero curiosamente también al PSOE, como alternativa cauta, en cuanto que es conocida.

Una segunda explicación sería la novedad de Podemos y Ciudadanos. Estos partidos habrían disfrutado de una luna de miel y por un tiempo no sufrieron la oposición de otros partidos ni fueron sometidos al total escrutinio de los medios. Pasado ese periodo, su imagen habría empeorado y por eso pierden votantes.

La tercera explicación es que la proximidad de las elecciones haya recuperado votos para el PP y el PSOE. Cuando las urnas se veían lejos, algunos encuestados habrían declarado un voto más expresivo o de protesta que real. Ahora, al acercarse las elecciones, esos votantes podrían haber ido recuperando sus simpatías partidistas tradicionales.

Estas tres hipótesis presagian un avance del PP y el PSOE en los próximos meses: las elecciones estarán cada vez más cerca, Podemos y Ciudadanos no volverán a ser nuevos y la economía es probable que mejore. Sin embargo, las intenciones de los votantes se moverán por otros motivos y con sucesos sobre los que nada sabemos como el resultado en Cataluña o las campañas electorales. Además los votos estarán muy repartidos y el parlamento muy fragmentado, dos circunstancias que al acercarse las elecciones podrían inducir movimientos de voto útil.

Desde EL ESPAÑOL iré actualizando el promedio de encuestas, desde ahora y durante el otoño, para tratar de alumbrar esas incógnitas.


Metodología: por qué y cómo promediar encuestas. La razón para promediar las encuestas se intuye viendo su gran variabilidad. Sondeos de fechas similares se desvían unos de otros y esas desviaciones apenas reflejan cambios de los votantes. Así se observa en el gráfico de barras (el primero del artículo): en los puntos no vemos tendencias sino una nube ruidosa. El ruido lo provocan los errores de muestreo y los diferentes ajustes que hace cada encuestador (la llamada cocina). Es decir, los cambios de una encuesta a la siguiente se deben más al azar y al criterio de sus técnicos que a cambios de los encuestados. Por eso no podemos sacar grandes conclusiones de una encuesta.

La alternativa es promediar encuestas. De esa forma reducimos el error de muestreo y consensuamos los criterios de los encuestadores. El resultado es más parsimonioso y libre de ruido, y capturará mejor la corriente de profundidad: los cambios lentos en la intención de voto de los encuestados.

Detalles del promedio. Nuestro promedio es una media ponderada según la muestra y la fecha de cada sondeo. Además aplico dos ajustes según la empresa encuestadora: doy menos peso a las firmas sin datos históricos y corrijo lo que se conoce como house effects. De los cuatro factores que afectan al peso de las encuestas, la fecha es el más importante. El resto tienen efectos menores y sirven sobre todo para saber que esos factores no son determinantes.

El peso de una encuesta en el promedio depende sobre todo de su fecha. Un ejemplo: para calcular el promedio del 1 de julio uso la información de todas las encuestas de semanas anteriores y posteriores, pero dando más peso a las encuestas más cercanas a ese día. El peso de cada encuesta decae exponencialmente con los días, con una constante de tiempo de 28 días, de forma que una encuesta pierde la mitad de su peso a los 20 días.

También tengo en cuenta la muestra de cada encuesta, de forma que las que hicieron más entrevistas reciben más peso. Este efecto es pequeño porque los datos nos dicen que la muestra no es un gran predictor de la precisión de una encuesta.

Pensando en asignar peso a cada encuesta he analizado también la precisión histórica de cada empresa encuestadora. Los resultados que he obtenido son poco concluyentes y por lo tanto no doy pesos individuales a cada encuestadora. El único ajuste que introduzco consiste en dar un 18% más de peso a las encuestas de firmas de las que tengo al menos cinco encuestas en el histórico, porque mi análisis sugiere que esas firmas han sido mejores en sus predicciones. Para estimar esto he analizado la precisión de diferentes encuestadoras en las elecciones generales de 2011, las europeas de 2014 y una parte de las municipales y autonómicas de 2015. Este peso extra que doy a algunas encuestadoras tiene un efecto pequeño en el promedio.

Por último, también corrijo las encuestas de lo que se conoce como house effect -la tendencia de cada encuestadora a desviarse del promedio de encuestas de forma sistemática durante una elección-. Estas desviaciones son absolutamente legítimas y pueden deberse, por ejemplo, al método de recogida de datos del encuestador y a los criterios técnicos con que tratan a los votantes indecisos. Al corregir estos efectos evito que el orden en que se suceden las encuestas afecte demasiado a nuestro promedio. Es decir, intento que los movimientos del promedio no se deban a los votantes y no al encuestador.