¿Acertaron las encuestas del 27S? Un repaso a sus cifras y a nuestra predicción

g2

Las elecciones catalanas se presentaban complicadas para los encuestadores. Eran unos comicios excepcionales y es difícil hacer estádistica de lo excepcional. Concurrían nuevos partidos, la participación se presumía histórica y el sentido del voto era para muchos inédito: un plebiscito. Pero las encuestas hicieron un buen trabajo. Aquí explico por qué.

También en EL ESPAÑOL:

Nota. Que un modelo probabilístico se demuestre bien calibrado es en esencia otra forma de precisión. Pero para los propósitos de este artículo he creído que la distinción entre precisión y calibración era útil.

Radiografía del resultado: así votó Cataluña en su noche más decisiva

comarcas_indepen

Artur Mas convocó las elecciones del 27S con la intención de impulsar el proceso soberanista. Pero menos de la mitad de los votantes ha respaldado a las dos listas que defendían abiertamente la independencia: Junts pel Sí y la CUP. Aquí la mejor radiografía de la cita electoral: datos, análisis y contexto. 

Las elecciones catalanas se presentaban complicadas para los encuestadores. Eran unos comicios excepcionales y es difícil hacer estadística de lo excepcional. Concurrían nuevos partidos, la participación se presumía histórica y el sentido del voto era para muchos inédito: un plebiscito. Pero las encuestas hicieron un buen trabajo. Aquí explico por qué.

1. El promedio de sondeos funcionó.

El gráfico compara 20 sondeos con los resultados de las elecciones del domingo. Los sondeos son los de Sigma Dos, GAPS, GESOP, NC Report, Invymark, IBES, Feedback, CIS, Metroscopia, DYM, GAD3, Celeste Tel y My Word.

g1

El promedio de encuestas anticipó la imagen general que dejaron las urnas. JxSí, el PP y CUP fueron bien estimados. Tambien el PSC. La mayor desviación se dió con Ciudadanos y Catalunya Sí que es Pot (CSP). El primero había sido infraestimado y el segundo sobreestimado, justo al revés de lo que pasó en las municipales de mayo.

2. Nuestro modelo fue razonablemente preciso.

Basándome en los sondeos, publiqué dos días antes del 27S un modelo de predicción para las elecciones. El modelo estimaba cuántos diputados lograría cada partido y con qué probabilidad.

A continuación evalúo que tal lo hizo ese modelo. El gráfico compara los diputados de cada partido con las predicciones probabilísticas del modelo.

g2

(Las áreas de color son histogramas y representan la probabilidad que tiene cada partido de lograr cierto número de escaños.)

La precisión del modelo fue notable. Acertó el partido ganador, acertó quién sería segundo y el orden de todos los partidos excepto el PSC y CSP, que se intercambiaron. La predicción más probable se desvió menos de dos escaños para JxSí, PSC, PP, CUP y Unió. Las mayores desviaciones se dieron con Cs y CSP. Pero desde el principio sus resultados eran los más inciertos: sus distribuciones de probabilidad eran las más anchas.

El modelo predijo también los resultados del independentismo. Anticipó que JxSí no tendría mayoría absoluta y que la suma con CUP lograría mayoría de escaños pero no de votos. Sus predicciones mediana para los escaños de JxSí y la CUP casi coinciden con los resultados reales.

Captura de pantalla 2015-09-30 a las 23.48.26

También las predicciones de votos:

g4

Estoy también satisfecho con las predicciones en cada provincia. En Barcelona la precisión fue similar a la general. En Tarragona la predicción de más probabilidad acertó para JxSí, PSC, CUP y Unió. En Lleida, para PSC, PP, CUP, Unió y JxSí. En Girona, para todos los partidos. (Gráficos de Barcelona, Tarragona, Lleida y Girona.)

3. Un reloj parado.

Mi primer objetivo con el modelo es que fuese fiable. Sus predicciones no son audaces ni finísimas: son cautas. Por eso había muchos resultados posibles en el segundo gráfico. No es así por capricho. Es así porque observar las encuestas de los últimos años me sugiere que ésa es la precisión que podemos esperar.

Estos eran los intervalos del 50% de probabilidad que el modelo asignaba a cada partido:

  • JxSí: [59, 67]
  • Cs: [17, 23]
  • CSP: [12, 18]
  • PSC: [11, 17]
  • PP: [11, 15]
  • CUP: [ 6, 10]
  • Unió: [ 0, 3]

Son intervalos amplios e incluso así la mitad de las veces la realidad debía acabar fuera de ellos. Por eso las desviaciones con Ciutadans o CSP no son una sorpresa. Al final, de los siete partidos cinco cayeron dentro de los intervalos. Y aunque no puedo saberlo todavía, creo que la incertidumbre del modelo está bien calibrada.

¿Pero qué significa «bien calibrada»?

Mi modelo respeta el primer principio que enuncia Nate Silver para hacer estimaciones electorales: «Un buen modelo debe ser probabilístico, no determinista». La mayoría de modelos de predicción tienden al exceso de confianza y mi propósito es no caer en ese error. Por eso mi modelo no da predicciones muy concretas si no puede —y generalmente no puede— sino predicciones con distintas probabilidades.

Para calibrar un modelo probabilístico hay que comprobar que sus predicciones aciertan con la probabilidad prevista. Por ejemplo, si mi modelo dice que el partido X tiene un 60% de probabilidades de lograr escaños, quiero que eso suceda un 60% de las veces. Si sucede solo el 10% de las veces el modelo está mal. Pero también está mal si sucede el 95% del tiempo. Ese modelo está mal calibrado.

Podéis pensar en las predicciones meteorológicas. No espero que el hombre del tiempo me diga con certeza si lloverá el sábado. Pero si me dice que la probabilidad de lluvia es del 20%, lo que espero es que acierte cuatro de cada cinco veces.

En resumen, al evaluar la bondad de un modelo probabilístico podemos hablar de dos cosas: de su precisión y de su calibración. Un modelo es muy preciso si dice exactamente qué va a ocurrir. Esos modelos son geniales, pero difíciles de encontrar para fenómenos complejos. Por eso las elecciones se predicen con modelos probabilísticos. Y esos modelos quiero que estén bien calibrados: si me dicen que un suceso tiene una probabilidad del 66%, deberán acertar dos de cada tres veces.

4. Conclusión.

Tras las elecciones el modelo de predicción sale reforzado. Sus limitaciones siguen ahí —y de ellas hablaré otro día— pero sus predicciones para el 27S fueron bastante precisas.

Si el modelo falló fue más bien por acertar demasiado. Quizás el modelo está ligeramente mal calibrado y fue demasiado conservador. O lo que es más probable: quizás tuvo algo de suerte. Si la razón es una u otra sólo lo sabremos dentro de muchas tiradas, cuando podamos distinguir la estructura del azar.

_____________

También en EL ESPAÑOL:

Nota. Que un modelo probabilístico se demuestre bien calibrado es en esencia otra forma de precisión. Pero para los propósitos de este artículo he creído que la distinción entre precisión y calibración era útil.

Así votarán los catalanes según el promedio de los últimos sondeos

votoEl próximo domingo se celebran unas elecciones catalanas de especial trascendencia por el carácter plebiscitario que les dan las fuerzas independentistas. A continuación analizo lo que nos dicen las últimas encuestas sobre esos comicios.

El próximo domingo se celebran unas elecciones catalanas de especial trascendencia por el carácter plebiscitario que les dan las fuerzas independentistas. A continuación analizo lo que nos dicen las últimas encuestas sobre esos comicios.

1. La estimación de votos

En el primer gráfico muestro las estimaciones de voto según 20 sondeos publicados desde julio. Además incluyo un promedio de los sondeos ponderado según el tamaño de muestra y la fecha de cada uno.

voto(Nota: la metodología es similar a la que he usado para las elecciones generales.)

Según las encuestas, la candidatura donde se integran ERC y Convergència, Junts pel Sí, lograría alrededor del 40% de los votos. Detrás vendrían Ciutadans (15%), Catalunya Sí que es Pot (12%) —la coalición formada por ICV, EUiA, Equo y Podemos—, el PSC (11%), el PP (10%), la CUP (7%) y Unió (3%).

2. La estimación de escaños

En las últimas semanas también se han publicado varias estimaciones de escaños que recojo en el siguiente gráfico.

esc

Según los sondeos, Junts pel Sí no lograría la mayoría absoluta, que está fijada en 68 escaños. Pero sacaría alrededor de 63 y tendría una amplísima ventaja sobre el resto de partidos. Ciutadans sería la segunda fuerza con 20 escaños, seguida de CSP (15), PSC (14), PP (13), CUP (8) y Unió (0-2).

Estas estimaciones de escaños, sin embargo, deben tomarse con cautela porque pequeñas variaciones en los votos pueden modificarlas mucho.

3. La suma de JxSí y la CUP en votos y en escaños

Acabamos de ver que la suma de JxSí y la CUP no supera el 50% de votos en las encuestas. Pero los dos partidos que proponen ir hacía la independencia sí sumarían una mayoría de escaños en el Parlament de Cataluña.

mayorias

En el gráfico he incluido la suma de fuerzas de JxSí y la CUP en los sondeos. La encuesta de GAPS es la única que da una mayoría de votos. En cambio todas las encuestas excepto dos de NC Report les dan una mayoría de escaños.

4. La evolución del voto

Para acabar, en este último gráfico represento la evolución de las estimaciones de voto desde principios de julio hasta hoy.

serie

Durante la campaña se observa una subida de JxSí y de la CUP, aunque muy ligera (alrededor de un 1% cada uno). La celebración de la Diada y el resto de eventos en estas dos semanas parecen haber reforzado a los partidarios del independentismo.

Del resto, el único movimiento lo protagoniza Catalunya sí que es Pot, la coalición de Podemos e ICV, que no sólo no habría conseguido potenciar su marca durante la campaña sino que habría retrocedido ligeramente.

En resumen, las últimas encuestas apuntan a que JxSí ganará las elecciones aunque no logrará la mayoría absoluta. Sí la alcanzaría con el apoyo de la CUP, aunque no es seguro que la organización de izquierdas vaya a investir a Artur Mas como president. Las encuestas dicen también que Ciutadans será la segunda fuerza, seguido de Catalunya sí que es Pot. Sin embargo, la relativa novedad de ambos partidos hace que sus previsiones se rodeen de más incertidumbre que las del resto.

También en EL ESPAÑOL:

Así son los catalanes que votarán el 27S. Una radiografía en cinco gráficos.

Así votarían los españoles: suben PP y PSOE pero el bipartidismo sigue en mínimos históricos

uno

Retroceden los partidos emergentes y avanzan los tradicionales. No obstante, el avance de PP y PSOE es sólo relativo. El bipartidismo sigue en mínimos históricos: la suma de los dos grandes partidos nunca ha bajado del 60% de votos en unas elecciones generales y las encuestas presagian ahora un 52%.

Quedan tres meses para las generales y en Cataluña arranca ya una precampaña de facto. Desde ahora y durante el otoño van a sucederse los acontecimientos: habrá elecciones en Grecia y luego en Cataluña, conoceremos datos económicos y casos de corrupción. Todo eso en el escenario electoral más convulso de las últimas décadas. Pero, ¿cuál es el punto de partida? ¿Cómo votarían los ciudadanos si estuvieran llamados hoy mismo a las urnas?

A continuación tenéis el promedio de encuestas que estoy haciendo en EL ESPAÑOL. El primer gráfico muestra el promedio y las 15 encuestas más recientes, incluidas varias de esta semana. El resultado es un escenario con cuatro partidos escalonados: PP (28%), PSOE (25%), Podemos (17%) y Ciudadanos (12%).

uno

(Observaréis que existen grandes diferencias entre encuestas: ésa es la razón por la que hacemos un promedio de consenso. El promedio es una media de 75 encuestas ponderadas por fecha y muestra cuyos detalles podéis encontrar en la metodología.)

El gráfico anterior es la foto fija del momento. Pero podemos observar también como ha ido evolucionando el apoyo de cada partido desde 2014. Aunque el ruido de las encuestas oculta las tendencias, éstas emergen nítidas en el promedio.

dos

En el gráfico vemos que el PP mantiene una línea ascendente y que gana tres o cuatro puntos desde abril. También el PSOE mejora, quizás más lentamente.

En cambio, Podemos retrocede desde el inicio de 2015. En diciembre llegó a ser la segunda fuerza, pero ha perdido simpatizantes y cae de aquel 25% de voto estimado al 17%. El partido de Pablo Iglesias pierde un tercio de sus apoyos, aunque se mantiene tercero con holgura. Detrás viene Ciudadanos, que también retrocede desde su máximo de abril.

Ésas son las tendencias actuales: retroceden los partidos emergentes y avanzan los tradicionales. No obstante, el avance de PP y PSOE es sólo relativo. El bipartidismo sigue en mínimos históricos: la suma de los dos grandes partidos nunca ha bajado del 60% de votos en unas elecciones generales y desde 1993 superó siempre el 70%. Las encuestas presagian ahora un 52% de voto para la suma de PP y PSOE y eso haría de las elecciones de diciembre las menos bipartidistas de la democracia.

tres

¿Pero a qué se debe el avance del PP y el PSOE en los últimos meses? Se han propuesto al menos tres explicaciones diferentes, aunque no excluyentes.

Para algunos, el avance tiene que ver con la economía: desde hace unos meses los ciudadanos somos menos pesimistas con la situación del país, lo que estaría beneficiando al PP, dado que es el partido en el gobierno, pero curiosamente también al PSOE, como alternativa cauta, en cuanto que es conocida.

Una segunda explicación sería la novedad de Podemos y Ciudadanos. Estos partidos habrían disfrutado de una luna de miel y por un tiempo no sufrieron la oposición de otros partidos ni fueron sometidos al total escrutinio de los medios. Pasado ese periodo, su imagen habría empeorado y por eso pierden votantes.

La tercera explicación es que la proximidad de las elecciones haya recuperado votos para el PP y el PSOE. Cuando las urnas se veían lejos, algunos encuestados habrían declarado un voto más expresivo o de protesta que real. Ahora, al acercarse las elecciones, esos votantes podrían haber ido recuperando sus simpatías partidistas tradicionales.

Estas tres hipótesis presagian un avance del PP y el PSOE en los próximos meses: las elecciones estarán cada vez más cerca, Podemos y Ciudadanos no volverán a ser nuevos y la economía es probable que mejore. Sin embargo, las intenciones de los votantes se moverán por otros motivos y con sucesos sobre los que nada sabemos como el resultado en Cataluña o las campañas electorales. Además los votos estarán muy repartidos y el parlamento muy fragmentado, dos circunstancias que al acercarse las elecciones podrían inducir movimientos de voto útil.

Desde EL ESPAÑOL iré actualizando el promedio de encuestas, desde ahora y durante el otoño, para tratar de alumbrar esas incógnitas.


Metodología: por qué y cómo promediar encuestas. La razón para promediar las encuestas se intuye viendo su gran variabilidad. Sondeos de fechas similares se desvían unos de otros y esas desviaciones apenas reflejan cambios de los votantes. Así se observa en el gráfico de barras (el primero del artículo): en los puntos no vemos tendencias sino una nube ruidosa. El ruido lo provocan los errores de muestreo y los diferentes ajustes que hace cada encuestador (la llamada cocina). Es decir, los cambios de una encuesta a la siguiente se deben más al azar y al criterio de sus técnicos que a cambios de los encuestados. Por eso no podemos sacar grandes conclusiones de una encuesta.

La alternativa es promediar encuestas. De esa forma reducimos el error de muestreo y consensuamos los criterios de los encuestadores. El resultado es más parsimonioso y libre de ruido, y capturará mejor la corriente de profundidad: los cambios lentos en la intención de voto de los encuestados.

Detalles del promedio. Nuestro promedio es una media ponderada según la muestra y la fecha de cada sondeo. Además aplico dos ajustes según la empresa encuestadora: doy menos peso a las firmas sin datos históricos y corrijo lo que se conoce como house effects. De los cuatro factores que afectan al peso de las encuestas, la fecha es el más importante. El resto tienen efectos menores y sirven sobre todo para saber que esos factores no son determinantes.

El peso de una encuesta en el promedio depende sobre todo de su fecha. Un ejemplo: para calcular el promedio del 1 de julio uso la información de todas las encuestas de semanas anteriores y posteriores, pero dando más peso a las encuestas más cercanas a ese día. El peso de cada encuesta decae exponencialmente con los días, con una constante de tiempo de 28 días, de forma que una encuesta pierde la mitad de su peso a los 20 días.

También tengo en cuenta la muestra de cada encuesta, de forma que las que hicieron más entrevistas reciben más peso. Este efecto es pequeño porque los datos nos dicen que la muestra no es un gran predictor de la precisión de una encuesta.

Pensando en asignar peso a cada encuesta he analizado también la precisión histórica de cada empresa encuestadora. Los resultados que he obtenido son poco concluyentes y por lo tanto no doy pesos individuales a cada encuestadora. El único ajuste que introduzco consiste en dar un 18% más de peso a las encuestas de firmas de las que tengo al menos cinco encuestas en el histórico, porque mi análisis sugiere que esas firmas han sido mejores en sus predicciones. Para estimar esto he analizado la precisión de diferentes encuestadoras en las elecciones generales de 2011, las europeas de 2014 y una parte de las municipales y autonómicas de 2015. Este peso extra que doy a algunas encuestadoras tiene un efecto pequeño en el promedio.

Por último, también corrijo las encuestas de lo que se conoce como house effect -la tendencia de cada encuestadora a desviarse del promedio de encuestas de forma sistemática durante una elección-. Estas desviaciones son absolutamente legítimas y pueden deberse, por ejemplo, al método de recogida de datos del encuestador y a los criterios técnicos con que tratan a los votantes indecisos. Al corregir estos efectos evito que el orden en que se suceden las encuestas afecte demasiado a nuestro promedio. Es decir, intento que los movimientos del promedio no se deban a los votantes y no al encuestador.

Los 4 gráficos que debes ver para comprender la encuesta del CIS

CIS estimado b

Las estimaciones del CIS reafirman un escenario con cuatro partidos escalonados. El PP sigue primero y crece (28,2%) y el PSOE también avanza (24,9%). En cambio, Podemos (15,7%) y Ciudadanos (11,1%) retroceden con respecto a abril.

El CIS ha publicado este miércoles sus estimaciones de voto para las elecciones generales. A continuación incluyo los datos en la serie completa desde principios de 2012.

CIS estimado b

Las estimaciones del CIS reafirman un escenario con cuatro partidos escalonados. El PP sigue primero y crece (28,2%) y el PSOE también avanza (24,9%). En cambio, Podemos (15,7%) y Ciudadanos (11,1%) retroceden con respecto a abril.

No te fíes de una sola encuesta

Aunque la del CIS es una buena encuesta, sigue siendo sólo una. Contiene errores por muestreo y porque los ajustes de sus técnicos -la llamada cocina- nunca es perfecta. Afortunadamente, esos errores podemos aminorarlos con un promedio de varias encuestas. Así logramos dos cosas: reducir el error de muestreo y hacer una cocina de consenso.

A continuación incluyo los datos actualizados del promedio de encuestas que estoy haciendo en EL ESPAÑOL. En el primer gráfico muestro las 11 encuestas más recientes (incluida la del CIS) y nuestro promedio.

promedio 1

La media de sondeos dibuja un escenario muy similar al CIS: PP (27%), PSOE (24%), Podemos (18%) y Ciudadanos (13%). El CIS estima algo más de voto para los dos partidos tradicionales y menos para las formaciones emergentes. Además, asigna más votantes a los partidos pequeños.

En el siguiente gráfico podéis ver las tendencias de nuestro promedio de sondeos desde finales de 2014. El promedio es una media de las encuestas ponderadas por el tamaño de su muestra y por su fecha. Pesan más las encuestas más recientes y aquellas cuya muestra es mayor.
promedio 2

En el gráfico se ven las grandes tendencias del año y los movimientos desde mediados de junio. El PP y el PSOE han frenado la tendencia ascendente y se mantienen relativamente planos. Lo mismo pasa con los partidos emergentes, que paran así la caída que arrastran desde hace varios meses (Podemos desde principios de año y Ciudadanos desde el mes de abril).

Intención directa de voto vs. estimaciones

Mi opinión sobre la validez de las encuestas es conocida: creo que son nuestro mejor instrumento para conocer el clima electoral. Ni son infalibles ni son siempre precisas, pero a veces están muy acertadas y en general son más informativas que cualquier alternativa.

En cambio, otras personas desconfían de las encuestas. Sobre todo de la cocina: los ajustes de los encuestadores para hacer sus estimaciones. Aquí debajo incluyo las cifras crudas. Es decir, las respuestas de intención directa de voto antes de pasar por la cocina según la serie del CIS desde 2012.

CIS idv

Estos datos son útiles para observar tendencias pero predicen mal el voto.

La intención directa no refleja bien el comportamiento de los entrevistados. Algunas personas no tienen decidido su voto y prefieren agarrarse al no sabe antes que indicar su voto más probable. Otras prefieren no revelar sus intenciones. Sin embargo, los analistas pueden hacer una estimación fundamentada de cómo votarían esas personas. En eso consiste la cocina: en combinar información auxiliar (como las simpatías partidistas del entrevistado) y conocimiento sobre comportamiento electoral, para predecir cómo votarán los indecisos. Así se produce una predicción más precisa. No es un ejercicio sencillo ni único (y por eso diferentes firmas difieren en sus ajustes) pero casi siempre mejora las predicciones.

Por eso en nuestro promedio usamos las estimaciones de cada encuestador y no sus datos crudos. Confiamos en sus cocinas y no guisamos nosotros. Lo único que hacemos es promediar su resultados para buscar un consenso, una suerte de cocina de fusión.

________________

Metodología: por qué y cómo promediar encuestas. La razón para promediar las encuestas se intuye viendo su gran variabilidad. Sondeos próximos en el tiempo se desvían unos de otros y esas desviaciones apenas reflejan cambios de los votantes. Así se observa en el gráfico de barras (el segundo del artículo): en los puntos no vemos tendencias sino una nube ruidosa. El ruido lo provocan los errores de muestreo y las diferencias de criterio entre los encuestadores de cada firma. Es decir, los cambios de una encuesta a la siguiente se deben más al azar y a los encuestadores que a cambios de los encuestados. Por eso no podemos sacar grandes conclusiones de una encuesta.

La alternativa es promediar encuestas. De esa forma reducimos el error de muestreo y consensuamos los criterios de los encuestadores —sus cocinas—. El resultado es una señal parsimoniosa, sin ruido, que puede capturar la corriente de profundidad: los cambios lentos en la intención de voto de los encuestados.

En particular, nuestro promedio es un media ponderada según la muestra y la fecha de cada sondeo. Un ejemplo: para calcular el promedio del 1 de julio uso información de todas las encuestas de semanas anteriores y posteriores, pero dando más peso a las encuestas más cercanas a ese día. También tengo en cuenta la muestra de cada encuesta, de forma que las que hicieron más entrevistas reciben más peso. Por último, si hay varias encuestas del mismo encuestador, reduzco el peso de todas menos la más cercana al 1 de julio, para que una firma que hace más sondeos no domine demasiado al resto.

Así están ahora los sondeos: el PP y Podemos retroceden y el PSOE y Ciudadanos avanzan

uno votos

El PP (27%) sigue por delante del PSOE (24%) aunque ambos partidos están cada vez más cerca. Un escalón por detrás, aparecen Podemos (18%) y Ciudadanos (13%). Si comparamos la situación con la de hace dos semanas, el PP y Podemos retroceden ligeramente y el PSOE y Ciudadanos avanzan.

Hace un par de semanas publiqué un promedio de encuestas para las generales. Desde entonces se han publicado cuatro sondeos: uno de Metroscopia y otros de TNS, Invymark y Simple Lógica. Con esos cuatro sondeos podemos actualizar los datos de consenso.

El gráfico siguiente muestra un promedio con 11 encuestas de las últimas cinco semanas.

uno votos

El sondeo de consenso da ventaja al PP (27%) sobre el PSOE (24%) aunque los deja cada vez más cerca. Un escalón por detrás, aparecen Podemos (18%) y Ciudadanos (13%). Si comparamos la situación con la de hace dos semanas, el PP y Podemos retroceden ligeramente y el PSOE y Ciudadanos avanzan.

De nuevo quiero destacar la gran variabilidad entre sondeos. Las encuestas se desvían mucho unas de otras y la mayor parte de esa variabilidad no refleja cambios verdaderos de los votantes sino que se debe a interferencias. Es decir, a la incertidumbre que rodea los datos. Por eso no vemos tendencias sino una nube de puntos ruidosa que es consecuencia de los errores de muestreo y de las diferencias de criterio entre los encuestadores de cada firma.

Por lo tanto, no debemos sacar grandes conclusiones de una encuesta puntual. La última encuesta de Metroscopia da a Ciudadanos un 16% de votos y la de Celeste-tel del 15 de junio le da un 10%. Pero eso no implica un enorme avance del partido de Albert Rivera. La diferencia se debe más bien a los márgenes de error de los sondeos y a los ajustes diferentes que hacen los encuestadores. Si en lugar de mirar esas dos encuestas o cualquier otra miramos el promedio de los sondeos, lo que vemos es que Ciudadanos avanza en el último mes pero dos puntos y no seis.

Así evolucionan las encuestas

Acabamos de explicar que es peligroso interpretar cambios en los sondeos desde demasiado cerca. Pero ¿y si queremos observar cómo están cambiando los votantes y sus intenciones a lo largo del tiempo? La solución es usar series largas y calcular promedios. Así capturamos las tendencias en los datos sin confundir el ruido con la señal. El gráfico siguiente muestra la serie de un promedio de sondeos desde octubre de 2014 hasta el 21 de julio de 2015. Los puntos son datos de los sondeos y las líneas, una media móvil.

dos votos

Las grandes tendencias del año se observan muy bien aquí. Además, podemos observar ciertos movimientos desde mediados de junio.

El PP y el PSOE han frenado la tendencia ascendente que mantenían desde las elecciones de mayo.

Podemos parece caer: a mediados de junio rozó el 20% de voto pero desde entonces encadena varias semanas a la baja. Un periodo que coincide con la crisis griega pero que podría estar relacionado también con otros factores. El partido de Pablo Iglesias roza el 18% de los votos.

Ciudadanos ha parado la clara caída que arrastraba desde antes de las elecciones de mayo. Desde mediados de junio ha ganado quizás un par de puntos y ha pasado del entorno del 11,5% al del 13%.

No te fíes de una sola encuesta

Las encuestas son un instrumento utilísimo: nos ofrecen la mejor fotografía disponible de cómo evoluciona la intención de voto de los ciudadanos. Sin embargo, la variabilidad entre diferentes sondeos debería inyectarnos de cautela al juzgar una encuesta puntual. Lo he dicho antes pero vale la pena repetirlo: cada vez que se publica una encuesta tenemos la tentación de atribuir cada variación a cambios en los votantes. Pensamos en un efecto del contagio griego o del último escándalo de corrupción.

Hacer eso no es una buena idea. Las encuestas son imprecisas y no podemos pretender que todos sus movimientos sean el reflejo de un cambios en la intención de voto de los encuestados. Menos aún si comparamos sondeos de firmas distintas. Si lo hacemos, lo probable es que confundamos ruido con señal.

Así serán las generales según el promedio de encuestas

grafico 2 evol

Estamos viviendo el año electoral más agitado en décadas. Si en enero los sondeos dibujaban un escenario tripolar, los más recientes dicen que serán cuatro los actores principales. Además, las elecciones generales se sienten ya cerca y eso multiplica las encuestas. Pero ¿qué conclusiones podemos sacar de ellas?

Estamos viviendo el año electoral más agitado en décadas. Si en enero los sondeos dibujaban un escenario tripolar, los más recientes dicen que serán cuatro los actores principales. Además, las elecciones generales se sienten ya cerca y eso multiplica las encuestas. Pero ¿qué conclusiones podemos sacar de ellas?

Un promedio de encuestas

Las encuestas son un instrumento útil pero impreciso. Por eso sus resultados no suelen coincidir exactamente sino que pueden desviarse por errores de muestreo o porque los encuestadores hacen ajustes diferentes en sus cocinas. Afortunadamente, estos problemas podemos aminorarlos si hacemos un promedio de varias encuestas. Así logramos dos cosas: reducimos el error de muestreo y hacemos una cocina «de consenso».

El gráfico siguiente muestro un promedio de las encuestas del último mes.

Pues bien, el sondeo de consenso da ventaja al PP (28%) sobre el PSOE (25%), aunque los deja cerca. Podemos aparece en un escalón más abajo (18%) y Ciudadanos otro más allá (12%). Izquierda Unida no alcanza el 4% de votos.

El gráfico muestra otra cosa importante: la enorme variabilidad que hay entre sondeos. Según las encuestas del último mes, el PP podría quedarse en un 23% de votos o irse hasta el 27%. El PSOE y Ciudadanos pueden ganar o perder un 3% de votos según el estudio y Podemos todavía más.

De hecho, si observáis los puntos en el gráfico, que representan los diferentes sondeos ordenados por fecha, veréis que apenas se observan tendencias temporales. Es decir, no observamos cambios en el último mes. No vemos subir al PSOE ni bajar a Ciudadanos ni ninguna otra cosa. Lo que vemos es una nube de puntos ruidosa, consecuencia de los errores de muestreo y de las diferencias de criterio entre encuestadores diferentes.

Por eso no deberíamos sacar demasiadas conclusiones de una encuesta puntual, sobre todo si la comparamos con sondeos muy recientes pero de encuestadores distintos. Esos cambios serán más ruido (error de muestra o decisiones de cocina) que señal (cambios verdaderos en las intenciones de los votantes).

Así evolucionan las encuestas

Acabamos de explicar que es peligroso interpretar cambios en los sondeos desde demasiado cerca. Pero ¿y si queremos observar cómo están cambiando los votantes y sus intenciones a lo largo del tiempo? La solución es usar series largas en el tiempo y calcular promedios. Así capturamos las tendencias en los datos, sin confundir ruido con señal.

grafico 2 evol

El gráfico anterior muestra la serie de un promedio de sondeos desde septiembre de 2014 hasta el 3 de julio de 2015. Los puntos son datos de los sondeos y las líneas, una media movil.

Las grandes tendencias del año se observan aquí claramente. En otoño Podemos creció hasta ser la primera fuerza mientras PP y PSOE perdían apoyos. Pero 2015 trajo una dinámica nueva: Podemos se desinfló a la vez que el PSOE recuperaba y Ciudadanos emergía. Así llegamos hasta abril y mayo, momento en el que Ciudadanos perdió parte de su espuma y fueron PP y PSOE los que recuperon simpatías. Desde entonces, las cosas se han movido relativamente poco. Esta historia se aprecia bien en los datos promediados pero apenas se discierne en la secuencia de sondeos individuales y por eso usamos promedios.

La incógnita de Podemos

Algo llamativo de los sondeos son las estimaciones de Podemos: varían mucho de un encuestador a otro. De las nueve encuestas del primer gráfico, hay tres que dan a Podemos un 13% de votos y otras seis que le auguran alrededor del 21%. Es una diferencia inusualmente grande e indica dificultades a la hora de ajustar las estimaciones del partido. A continuación he representado la evolución de Podemos según cinco casas de encuestas diferentes.

grafico 3 podemos

Por un lado tenemos a Metroscopia y Sigma Dos, que dan a Podemos cifras por encima del 20%. Por el otro, a Celeste-tel y NC Report, que colocan al partido de Pablo Iglesias por debajo del 15%. En medio aparecen los sondeos del CIS, que suelen tener la mejor muestra de todos, lo que otorga crédito a un valor intermedio. En cualquier caso, cabe destacar que todos los encuestadores coinciden en detectar una tendencia parecida: Podemos alcanzó un pico a final de año, retrocedió y ahora se mantiene relativamente plano.

No te fíes de una sola encuesta

Los gráficos anteriores dan una buena fotografía de los sondeos. Corroboran las grandes tendencias del año: el auge de Podemos, la emergencia de Ciudadanos, el desinfle relativo de ambos y la situación actual con cuatro partidos escalonados.

Pero los datos también deberían inyectarnos de cautela al juzgar una encuesta puntual. Dos sondeos publicados con días de diferencia tienden a parecerse en lo esencial, pero hilar fino en su interpretación es un ejercicio de riesgo. Es tentador ver las pequeñas variaciones en porcentajes como un cambio en los votantes (quizás un efecto del 24M, del contagio griego o del último escándalo de corrupción). Pero no es buena idea. Las encuestas no son lo suficientemente precisas como para que atribuyamos variaciones tan pequeñas a cambios en los votantes, especialmente cuando comparamos sondeos de encuestadoras distintas. Si lo hacemos, lo probable es que confundamos ruido con señal.

Es cierto que las encuestas son un instrumento delicado. En ocasiones están muy acertadas, pero otras veces pueden equivocarse todas en la misma dirección y eso no implica manipulación ni falta de profesionalidad. Ocurre, simplemente, que intentan algo muy complejo: anticipar cómo votarán millones de personas cuando ni siquiera esas personas lo saben con seguridad. Para eso, son el mejor instrumento que tenemos. Imaginad por un momento la alternativa, que no hubiésemos tenido encuestas desde las elecciones Europeas de hace un año y hasta las pasadas elecciones municipales y autonómicas: hubiésemos estado, sencillamente, ciegos.