El sesgo del CIS de Tezanos
Desde el nombramiento de José Félix Tezanos en 2018, el CIS ha dado al bloque de izquierdas más voto del que obtuvo en 38 de 41 elecciones generales y autonómicas celebradas. Es imposible que tal cosa pueda ocurrir por azar ni por un fallo general de las encuestas. Y no, en 2023 tampoco «acertó».
Tres preguntas, tres respuestas
El debate sobre el CIS se reduce a tres preguntas concretas. Cada una tiene su tarjeta, con los datos y el veredicto.
En 38 de 41 elecciones su último sondeo dio al bloque de izquierdas más voto del que obtuvo, 4,7 puntos de media. Sin Tezanos (2008 – 2017), el mismo CIS: 26 de 39 y +1,2 puntos.
Como si cada elección fuera una moneda, 38 de 41 sale 1 entre 190.000.000. Agrupando por fecha, 1 entre 7.200. Y el CIS quedó a la izquierda de las demás casas en 39 de 41 elecciones: no es que «todos fallaran».
El CIS sobreestimó a la izquierda 3,1 puntos y subestimó a la derecha 2,8 puntos, en el mismo sentido que su sesgo medio con Tezanos. Las demás fallaron hacia la derecha y el resultado quedó entre ambos, más cerca del consenso que del CIS.
Medimos lo que dicen los sondeos frente a lo que dicen las urnas. No medimos intenciones: el dato es la persistencia del error en una dirección, su tamaño, su comparación con las demás encuestadoras y con el propio CIS de antes de 2018. Los datos por encima de bandos y consignas.
¿Se inclina el CIS hacia la izquierda desde que lo preside Tezanos?
SÍJosé Félix Tezanos, secretario de Estudios y Programas de la Ejecutiva Federal del PSOE y responsable de los sondeos del partido desde junio de 2017, fue nombrado presidente del CIS por el Consejo de Ministros el 29 de junio de 2018 y dejó la Ejecutiva al mes siguiente. Con él, en septiembre de 2018 el CIS cambió su estimación de voto: dejó de aplicar su modelo tradicional de ajuste y pasó a publicar una estimación basada en el voto directo más la simpatía por cada partido. Comparamos el último sondeo del CIS antes de cada elección analizada, generales y autonómicas, con el resultado, por bloques: positivo si le dio más voto del que obtuvo. Y hacemos lo mismo con el CIS de antes de su llegada, sin Tezanos (2008 – 2017).
Sin Tezanos: 39 elecciones (2008 – 2017)
Error del último sondeo del CIS por bloques · azul generales, naranja autonómicas · anillos a 2, 5 y 10 puntos
Con Tezanos: 41 elecciones (2018 – 2026)
Los puntos se concentran arriba a la izquierda: más voto a la izquierda y menos a la derecha del que hubo
elecciones con la izquierda sobreestimada · sesgo medio +1,2 en la izquierda, +1,3 en la derecha · a la izquierda del consenso de las demás casas en 22 de 39 (56%), +0,9 puntos
elecciones con la izquierda sobreestimada · sesgo medio +4,7 en la izquierda, −3,5 en la derecha · a la izquierda del consenso de las demás casas en 39 de 41 (95%), +3,7 puntos
Cómo leerlo
Cada punto de las dianas es una elección: el último sondeo del CIS antes de la votación. En horizontal va el error en el bloque de derechas y en vertical el del bloque de izquierdas, los dos en puntos y como sondeo menos resultado. El centro es el resultado exacto: un punto arriba a la izquierda dio más voto a la izquierda y menos a la derecha del que hubo. Las dos cajas cuentan las mismas elecciones que las dianas.
¿Puede ser azar, o un fallo general de las encuestas?
NOTres comprobaciones, de la más sencilla a la más exigente. La tercera responde a la objeción habitual: «todas las encuestas fallaron».
Probabilidad de sobreestimar a la izquierda en 38 o más de 41 elecciones si cada una fuera cara o cruz. Pero varias autonómicas comparten fecha y contexto: no son 41 pruebas independientes.
Agrupando las elecciones del mismo día en una sola prueba quedan 17 fechas; en 16 el CIS sobreestimó a la izquierda de media.
Elecciones en que el CIS quedó más a la izquierda que la media de las otras encuestadoras, 3,7 puntos de media. Si el error fuera general, el CIS estaría unas veces a un lado y otras al otro. Como moneda: 1 entre 2.500.000.000.
Casa por casa y elección por elección: el CIS es la única casa prácticamente monocolor
Casas con 10 o más elecciones desde 2018 y sondeos en 2026, el CIS primero y las demás por proporción de elecciones con la izquierda sobreestimada. Rojo: el último sondeo dio al bloque de izquierdas más voto del que obtuvo; azul: menos; más intenso cuanto mayor el error; en blanco, la casa no sondeó esa elección; las generales, en negrita. El detalle de cada celda, al pasar el ratón
El CIS, frente a la media de las demás casas en la misma elección
Error en el bloque de izquierdas, cada punto una elección. Horizontal: la media de las otras casas. Vertical: el CIS. Sobre la diagonal, el CIS quedó más a la izquierda que el consenso
Ninguna otra encuestadora se acerca
Casas con 10 o más elecciones desde 2018 y sondeos en 2026. Horizontal: en qué proporción de sus elecciones sobreestimó a la izquierda. Vertical: su sesgo de bloques medio (error en la izquierda menos error en la derecha), en puntos
Cómo leerlo
Las tres cajas comparan al CIS con el azar: la primera trata cada elección como una moneda al aire, la segunda junta las elecciones del mismo día en una sola prueba y la tercera mide al CIS frente a las demás casas en cada elección. En la matriz, cada fila es una encuestadora y cada columna una elección: el color dice hacia qué lado erró su último sondeo en el bloque de izquierdas y la intensidad, por cuánto. En el gráfico del consenso, cada punto sobre la diagonal es una elección en la que el CIS quedó más a la izquierda que la media de las demás. En el ranking, cuanto más a la derecha y más arriba está una casa, más a menudo y por más puntos sobreestimó a la izquierda.
¿Fue el CIS «el único que acertó» en 2023?
NOEl 23-J las demás encuestadoras daban al PP una ventaja holgada, con mayorías absolutas de PP y VOX en sus escaños publicados, y el CIS ponía por delante al PSOE. La mayoría no llegó, el resultado se movió hacia donde apuntaba el CIS, y de ahí la leyenda. Miramos los bloques, que es donde está su sesgo: el último sondeo de cada casa (hasta 60 días antes) frente a las urnas.
El último sondeo de cada casa frente al resultado, por bloques
Derecha → sobreestimó a PP + VOX + Cs · Izquierda ↑ sobreestimó a PSOE + SUMAR + UP + MP · el centro es el resultado · rojo, el CIS; rombo, el consenso de las 20 casas
El CIS y el consenso, frente al resultado
Último sondeo del CIS (11 días antes) y media de los últimos sondeos de las otras 20 casas · Izquierda: PSOE + SUMAR + UP + MP · Derecha: PP + VOX + Cs
| Bloque | CIS | Consenso | Resultado | Error CIS | Error consenso |
|---|---|---|---|---|---|
| Izquierda | 47,1 | 41,4 | 44,0 | +3,1 | −2,6 |
| Derecha | 42,6 | 47,4 | 45,4 | −2,8 | +2,0 |
| Diferencia | +4,5 | −6,0 | −1,4 | +5,9 | −4,6 |
Quién estuvo más cerca del resultado en los bloques
Distancia al centro de la diana de cada casa, en puntos; el CIS fue la 13.ª de 21
Cómo leerlo
La diana pone el resultado en el centro y cada casa donde la dejó su último sondeo: hacia la derecha si sobreestimó a PP + VOX + Cs y hacia arriba si sobreestimó a PSOE + SUMAR + UP + MP. El rombo es el consenso, la media de las demás casas, y el punto rojo, el CIS. Las barras ordenan las casas por su distancia al centro, que junta los dos errores en una sola cifra: cuanto más corta, más cerca estuvo del resultado en los bloques. La tabla da la cuota de cada bloque, sus errores y la diferencia entre los dos.
Datos y método
Todo sale de los sondeos y resultados publicados en Demoscopio y se puede descargar.
- Elecciones analizadas: las generales y autonómicas con resultado en las que el CIS publicó un sondeo con trabajo de campo entre 6 y 42 días antes de la votación; se cuenta sólo el último. Los bloques son los de cada ámbito (en Elecciones Generales Julio 2023, PSOE + SUMAR + UP + MP frente a PP + VOX + Cs).
- Error por bloque: la suma de las estimaciones del sondeo para los partidos del bloque menos la suma de sus resultados, en puntos: positivo si le dio más voto del que obtuvo. Son las mismas filas que la diana del perfil del CIS y que la tarjeta de Método → El promedio.
- Sesgo de bloques: el error en la izquierda menos el error en la derecha; positivo si el sondeo inclinó la balanza hacia la izquierda.
- Consenso: la media simple de los últimos sondeos de las demás encuestadoras en la misma elección, con el mismo criterio de fechas.
- Fallo general de las encuestas: en las elecciones con tres o más casas distintas del CIS, el signo de la media de sus errores en el bloque de izquierdas; el CIS queda fuera para no inclinar la cifra hacia la propia tesis.
- Periodos: «con Tezanos» (2018 – 2026), desde el cambio de método de septiembre de 2018 (primera elección, el 2 dic 2018); «sin Tezanos» (2008 – 2017), las elecciones de 2008 a 2016.
- Pruebas: binomial de una moneda equilibrada sobre las 41 elecciones y sobre las 17 fechas electorales; comparación con el consenso elección a elección; prueba t de Student de una muestra sobre los errores, las medias por fecha y las diferencias con el consenso. Son comparaciones con el azar, no probabilidades de intencionalidad.
Fuentes
- Histórico de errores de las encuestas por elección
- Perfil del CIS
- Método: el ejemplo del CIS desde 2018
- Análisis
- «José Félix Tezanos, presidente del CIS, abandona su cargo en la Ejecutiva Federal del PSOE», El Independiente, 9-7-2018
- «Los datos sorprendentes de la cocina del CIS de Tezanos», El Independiente, 25-9-2018
- Perfil de José Félix Tezanos en la UNED
CSV: Las elecciones del CIS, con y sin TezanosCSV: Ranking de encuestadoras desde 2018CSV: Matriz casa por elecciónCSV: Últimos sondeos de las generales de 2023 por bloques