En las últimas semanas hemos vivido sonoros fracasos de estudios electorales.
El referéndum sobre el Brexit es un buen ejemplo. Si hay una consulta con resultado fácil de prever es un referéndum. Las encuestas acertaron el resultado real, salvo las de los últimos días cuando tras el asesinato de la diputada Jo Cox detectaron un vuelco, que finalmente no se produjo, . ¿No será que, con las prisas, esas encuestas de los últimos días olvidaron la representatividad de las muestras?
Es mucho más fácil hacer encuestas por internet, o hacer más entrevistas en los núcleos más grandes, o hacerlas en barrios de clases medias…y todo eso habría sesgado los resultados hacia la permanencia.
Votando en un colegio electoral del País Vasco
Las elecciones españolas son mucho más complejas. En realidad se celebran 52 elecciones y para estimar bien los resultados habría que hacer 52 encuestas de tamaño suficiente y con muestras representativas en cada una de ellas. Pocos institutos pueden hacerlas; en los días previos casi nadie las hace; seguramente sólo el CIS.
Pero el día de las elecciones se utilizó una muestra de gran tamaño para realizar la exit poll, la encuesta llamada israelita de voto declarado al salir del colegio electoral. Y los errores fueron, una vez más, de bulto.
Creo que cada vez tiene menos sentido realizar el desembolso necesario para montar un estudio así, cuando los resultados reales se conocen tan sólo un par de horas después.
Pero merece la pena analizar por qué se producen esos errores y creo que el sector debe tomarse en serio esta tarea.
¿El problema está en el tamaño de la muestra, en su representatividad o, resulta que ahora hay una parte considerable de la población que miente? Yo no creo que mucha gente mienta para nada; o, en todo caso, que mienta ahora más que antes. Yo pienso en la falta de representatividad como la mayor fuente de errores.
El mercado publicitario y el de medios dependen en tan gran medida de resultados de encuestas (que nunca tienen un día de las elecciones para comprobar su verdadera calidad) que no nos podemos permitir el lujo de mantener las puertas abiertas a la duda.
Creo que una parte importante de los errores puede deberse a la falta de representatividad de las muestras utilizadas.
En el caso de los estudios electorales tenemos la famosa cocina, que estima los resultados que se publicarán a partir de los obtenidos en la encuesta y de toda la experiencia anterior del instituto encargado de la realización del estudio. La cocina no tendría por qué llevar a peores resultados pero sí se presta a interpretaciones que en otros estudios no se dan.
Aneimo, la patronal del sector, publicó una nota para los medios en la que aclara algunos de los puntos que deben cumplir las encuestas (las normas internacionales de ESOMAR). En su último punto abre una puerta a la sospecha:
ANEIMO quiere dejar constancia de que ninguna de las empresas integradas en esta Asociación efectuó un Sondeo a pie de Urna con ocasión de las elecciones generales del 26J.
Eduardo, hay otro factor que no se apunta y no sé por qué razón: ya no hay redes de encuestadores fiables. De hecho dudo que haya redes como las entendíamos antes/ Desaparecieron con internet. Los encuestadores pueden rellenar todos Cuestionarios que quieran a sus anchas. Aunque se detecten irregularidades ¿a quién le importa cuando saben que lo más seguro es que nunca más les llamen?
Los que hemos sido encuestadores alguna vez en nuestra vida sabemos lo que pasa. Dicho para los no profesionales: la gente no miente, los encuestadores se inventan muchas respuestas.
06 julio 2016 | 17:59
¿Quizá podrían estar hechas en una mesa de camilla?.
06 julio 2016 | 18:25
¿A qué huelen las nubes?
06 julio 2016 | 18:31
Según leo hay más uno que piensa como yo, las hacen en una mesa de camilla entre cuatro y sale lo que piensan esos cuatro. Lo malo es que cobran millones. Una vez más la sombra de la corrupción del ser humano.
06 julio 2016 | 18:33
Las encuestas fallan porque el anonimato es cada vez mas una cosa del pasado, la gente aprecia su tranquilidad.
06 julio 2016 | 19:31
Las encuestas fallan por exceso de onanismo
06 julio 2016 | 21:17
FALLAN PORQUE SON UNA P. MENTIRA.
ES UNA FORMA DE MANIPULAR A LA GENTE PARA QUE VOTEN UN PARTIDO U OTRO.
ESO SON LAS ENCUESTAS. UNA MANIPULACION DE LA GENTE.
07 julio 2016 | 01:41
David: buen punto éste que aportas: ya no hay redes de entrevistadores fiables. Como en tantas otras profesiones, la ambición desmedida de las empresas está llevando a la autodestrucción de la demoscopia.
De ahí a la sospecha de corrupción («las hacen en una mesa camilla» como dice Alberto Ruiz) sólo va un paso.
Si luego cuando se leen en los medios vemos que cada uno arrima el ascua a la sardina que más le interesa y que eso puede ayudar a cambiar opiniones y votos, el desprestigio ya es máximo.
07 julio 2016 | 08:53
Lo que tú apuntas de la ambición, Eduardo, y lo que yo comento de las redes de campo, son puntos de vista complementarios del mismo fenómeno. Si sabes que no te puedes fiar de tu red de campo, no te dejes tentar por el dinero, porque el desprestigio se paga y lo paga todo el sector.
Yo estaba temiendo que saliera alguna empresa de análisis de redes sociales anunciándonos que Google o Facebook ya sabía qué resultado iba a haber. Y es que estoy seguro de que lo sabían . Me parece que si no nos lo dicen es por no alarmarnos.
Un abrazo
07 julio 2016 | 17:39
Me parece vergonzoso q no se controle mas la calidad y profesionalidad de lo q se hace…..siempre en la vida habra personas que inrenten funcionar al margen de todo y pese a todo..pero ahi estan lis medios para asegurarse y no fiarse…y sobre todo no publicarlas.Ademas el divulgarlas sin la certeza de su fiabilidad lo q hace es desprestigiar mas al medio de comunicacion q las saca.Estamos llegando a un punto en que todo vale y todos,o muchos muchos,se conforman y no pasa nada.
07 julio 2016 | 18:40
Gracias de nuevo, David. Yo ni siquiera lo veía como puntos de vista complementarios: era poner de manifiesto lo que hay detrás de la eliminación de las redes de campo profesionalizadas y controladas.
Y sí; llegará el momento en que Google, Facebook o Twitter sepan lo que va a pasar días antes de las elecciones. Por el momento no; por falta de representatividad. Estoy seguro de que en el Reino Unido habrían previsto la derrota del Brexit.
Pilar Herrera: sí es vergonzoso. Pero no es un defecto sólo de las empresas de sondeos o de los medios. En todo se valora ya más hacer las cosas rápido y barato que hacerlas bien.
07 julio 2016 | 19:04
Gracias por tus reflexiones Eduardo. Como sabemos bien, porque es histórico, el problema más serio de las encuestas pre-electorales es la estimación de la ‘no respuesta’: aquellas personas que no declaran su intención de voto porque dudan entre varias opciones, o porque no desean exponerse al ‘juicio’ del entrevistador o por otras diversas razones. Pero la gente no miente, eso siempre ha sido un fenómeno menor. Si a esta dificultad se le añade la volatilidad de las preferencias de los votantes en un escenario político cambiante, nos adentramos en un terreno de alta dificultad para realizar estimaciones que corrijan los sesgos declarativos de manera fiable y válida.
Añadir el error de base de trabajar con muestras no representativas acabar de darle la puntilla al método… así, las desviaciones están prácticamente garantizadas, a costa de la precisión de la herramienta. En el teléfono porque muchas muestras sólo trabajan con listados de hogares con teléfonos fijos (y no cubren los de ‘sólo móvil’), en internet porque se trabaja con paneles que, por definición, no representan toda la población (sin conexión a internet) ni son equiprobables en la selección de los individuos del universo de votantes. Pero las muestras cara a cara son tan caras…
Entrevistas cara a cara hoy sólo las hace el CIS (a mi limitado conocer) y, por cierto, un sencillo ejercicio de aplicar los coeficientes de corrección tradicionales (los que solíamos usar) a los datos brutos que publicaron en su última encuesta de Mayo me dió una estimación muy próxima al resultado real, y con las desviaciones dentro del margen de error. Lo que me lleva a pensar que un poco más de rigor y de confianza en el método (el know-how de toda la vida) habría producido mejores estimaciones… aunque posiblemente menos ruido en la campaña.
08 julio 2016 | 16:55
Copio aquí una conversación en Twitter que me parece interesante:
FR: Son 2 temas distintos, el de la debilidad de las redes de campo, y la insinuación de Aneimo, que me parece «rara».
EM: Tienes razón Felipe; hay varios temas que se cruzan y la insinuación es rara. Tu opinón sería muy interesante.
umm, de electorales, yo poco o más bien nada. Pero 1) cierto que las redes se han debilitado, se nota en otros tipos de estudios
2) con cariño, lo de Aneimo el comentario me parece un poco de «patronal». También fallaron institutos asociados en otro momento
y 3) desde mi desconocimiento, creo que con un escenario bastante volátil, la cocina debe ser difícil. Insisto que no es mi mundo.
en todo caso, lo que ya comentamos, molaría que @aedemo_oficial montase algo, así que aprovecho para insistir otra vez 🙂
LFRB: lo de las redes de campo es un problema grave estructural real. Lo otro: Aneimo como patronal defiende a sus asociados
FR: lógico que defienda a sus asociados. Como parte del sector no asociada (y de hecho no implicada) me parece feo.
LFRB: los tortazos de 93, 96 y alguno posterior hizo a grandes institutos renunciar a € x el riesgo reputacional
parece lógico q si renuncias a determinados presupuestos no quieras «mancharte» por ellos
hace años un crack de la investigación me dijo q n la web iba a poner en grande q no hacía encuestas electorales
FR: bueno en las del 20D para RTVE el error fue relevante también y la hizo un asociado no?
LFRB: un visionario dijo que esta vez las israelitas parecían palestinas
FR: en todo caso, lo que ya comentamos, molaría que @aedemo_oficial montase algo, así que aprovecho para insistir otra vez 🙂
LFRB: está cogido. El tema, más delicado de lo q parece, es formato y fechas…
09 julio 2016 | 12:34
Carlos Cardero, Director de El Confidencial, cuenta los últimos años de Sigma Dos, la empresa que hizo el sondeo «israelita» del pasado 26J. Un concurso con el precio muy a la baja (no sé si temeraria) y alguna extraña influencia política:
http://blogs.elconfidencial.com/espana/caza-mayor/2016-07-11/sigma-dos-y-la-muerte-del-oraculo-de-delfos_1230744/?utm_source=facebook&utm_medium=social&utm_campaign=button
11 julio 2016 | 22:35