El texto de Roy Campos publicado en este Blog, “Encuestas 2012: seguimos sin pronosticar”, presenta al menos dos aspectos debatibles.
El primero es la petición de principio del texto mismo, a saber: que las encuestas no son pronósticos. Entiendo que hay buenos argumentos técnicos y metodológicos para sostener que las encuestas no pronostican lo que sucederá sino que retratan lo que está sucediendo, y que esto que sucede puede cambiar. Pero no discutamos la teoría ni la palabra pronosticar, sino lo que sucedió realmente con las encuestas que se equivocaron gravemente en las proporciones de su pronóstico sobre la elección presidencial, entre ellas Encuesta Mitofsky. El punto central es que no estaban haciendo fotos aisladas en el tiempo. Estaban midiendo el mismo fenómeno en una serie y lo retrataban cada semana.
Cuando se ha medido semana con semana el mismo fenómeno, y se falla por 8 puntos en la foto de la semana siguiente a la última medición, hay un problema de pronóstico. Hay la interrupción hasta ahora inexplicada de una tendencia, hasta ese momento, y durante varias semanas, básicamente estable.
Así lo leyó la gente y así lo leímos muchos analistas obligados a la objetividad o al menos a un esfuerzo honesto por alcanzarla. Por su consistencia consigo misma y con los resultados de otras casas encuestadoras (Buenda/Laredo, Beltrán y Asociados, Parametría, Gea-Isa´, etc.) dimos la serie por exacta, dentro de los márgenes de error declarados por cada quien.
Dimos crédito a la tendencia que podemos llamar pronóstico o foto secuencial. La serie misma indicaba que el resultado sería consistente con esa serie. Lo que queda por explicar es por qué la serie saltó fuera de su tendencia, precisamente en la semana clave: la del resultado.
La segunda complicación está contenida en un párrafo que cito.
Dice Roy Campos que entre los encuestadores acreditados,
hay quienes solucionan de manera pragmática la discusión con una salida ‘fácil’. Presentan 2 resultados, aunque sean muy distintos, uno es el resultado de la encuesta y otro es un modelo de pronóstico; este “modelo” puede ser tan sencillo como aplicar algunos filtros o tan complicado como introducir variables exógenas pero en ambos casos el problema es su discrecionalidad, cada encuestador puede seguir su intuición y esta puede ser distinta elección tras elección; este año tuvimos pruebas de ello, en junio una encuesta tuvo 12 puntos de diferencia entre 1ro y 2do pero su “modelo” le arrojó que serían 8; y por el contrario otro encuestador tuvo la encuesta en 8 puntos pero publicó su modelo mostrando que pensaba que serían 14 puntos. A una de ellas su intuición le decía “se va a cerrar”, a la la otra “se va a abrir” sin importar lo que les respondían los encuestados.
Esto equivale a decir que hubo quien cuchareó según su intuición, «sin importar lo que les respondían sus encuestados». Es la peor crítica que puedas hacerle a los encuestadores. A partir de esta descripción de los hechos, es factible sostener las acusación fundamental que se hace hoy a las encuestadoras: cucharean por capricho, por partidismo o por conveniencia.
Creo que hay que hacer un esfuerzo de explicación mayor y más puntual, un esfuerzo que estamos esperando muchos, porque el consenso en el tamaño de la equivocación de las principales y más difundidas encuestadoras de México, significa un problema serio de opinión pública, de credibilidad del entorno democrático y de simple profesionalismo en un instrumento clave del conocimiento de la sociedad que vota, que son las encuestas.
Nos están regresando a la situación en que debemos creer a la encuesta que nos late. A la edad de piedra de la demoscopía.
Héctor Aguilar Camín. Director de la revista Nexos.
Soy estratega publicitario, y tengo dos comentarios. El papel de las encuestas no solo influye en el ánimo de los electores, puede en ciertos casos definirlo todo: financiamiento, apoyos políticos, declinaciones, alianzas, etc. No es cosa menor la publicación de encuestas y menos de marcas que en el escenario estaban consolidadas, representando en ciertos momentos la verdad absoluta de una elección. Aquí un ejemplo:» No importaba si mi estudio daba a 6 puntos de distancia, si mitofsky o milenio decían 15 seguro mi encuestador de casa estaba mal »
Una disyuntiva de esta naturaleza no solo me obliga a considerar cambiar mi estrategia política y/o publicitaria, sino detona presiones de mis clientes a modificar el plan, plan que en este ejemplo estaría funcionado. Ese es el primer problema que no ven los encuestadores, si la info o insumo de la estrategia no son certeros como hago estrategia??? Si se equivocan por 17 puntos como puedo saber cuales son las prioridades de la gente? Como planifico? Es muy grave lo que esta pasando pues los clientes ya no quieren hacer encuestas porque no confían.
Comentario dos o pregunta , porque insisten en la preferencia efectiva, si es un ejercicio que infla una barbaridad los números? La foto del momento es intención por partido y no respuesta, así de simple, porque entonces reparten proporcionalmente la no respuesta? , me canse de decirlo en este proceso a mis clientes, encuestadores y actores políticos, la no respuesta, que no son indecisos, para sacar indecisos debe primero filtrarse con una pregunta de probabilidad de voto, pero en las encuestas publicadas es «no respuesta» y no se pueden llamar indecisos, bueno en cualquier caso los que no declaran y los que están indecisos son la población mas volátil, son normalmente switchers, verdaderos pensadores o reflexivos del voto, y,oh sorpresa,a veces votan todos para un solo lado como Fox en 2000, donde eran 18% de indecisos y la mayoría voto por fox, el caso reciente de Mérida de 2012 donde el día de la elección se volteó el resultado y en donde por un poco mas podria haber afectado el resultado de la gubernatura. La votacion efectiva debe desaparecer, fue una locura inventarla pareciera, pues solo sirve para desorientar, la votación bruta,como antes se publicaba, es lo correcto. Amlo tendria razón en que la preferencia efectiva copeteaba, si vemos la preferencia bruta muchos estarían en margen de error o muy cerca de el. El margen de error sumado a la asignación arbitraria de la no respuesta pues arroja los resultados que vimos. Hay que poner atencion también en la tasa de rechazo, no puede ser superior a 50% , si es así entonces hay que revisar pues muy probablemente salgan mal los resultAdos. Felicitamos a votia, ipsos,uno noticias y berumen, que si retrataron la foto del momento , los demás a revisar sus métodos y campo, como todos cuando fallamos. Hoy reivindicaron a mi amigo enrique alduncin que alguna vez equivoco por algunos puntos y fue criticado, la verdad, hay que decirlo, todos debemos poner atención en el electorado, ya es mas sofisticado y puede esconder una realidad debido a la molestia que le ocasiona la saturación en elecciones. Espero sirva mis comentarios como publicista y estratega, soy el que mas depende de las encuestas. En esta elección no me toco sufrir tanto las encuestas como publicista de La campana de Mancera, en esa por ejemplo nadie se equivoco. Saludos
Bastante acertado y oportuno el análisis del Dr Aguilar Camin, como siempre.
El reto de las firmas encuestadoras será de aquí en adelante recuperar la confianza de los usuarios, algo parecido a lo que le sucedio al IFE después de la elección 2006 y cuyo proceso aun no termina de consolidar.
Lo peor que nos puede pasar como país es renunciar a contar con herramientas como las encuestas para el análisis. Hacerlo seria caminar hacia atrás en la búsqueda de constituir una sociedad madura y con capacidad de pensamiento racional para el entendimiento de los sucesos políticos y de diversas índoles en nuestro amado país.
Es obvio que la sociedad no es la misma del 2006, sea debido al impacto de las redes sociales o el despertar político de la juventud, que se pudiesen conjugar en un mismo fenómeno, pero lo que si es seguro es que otra pifia de este tamaño será difícil que les sea perdonada a los que le fallaron fuerte en este 2012 con las cifras previas al 1 de Julio.
La pelota esta ahora en la cancha de los encuestadores; a evaluar resultados , identificar que salió mal y corregir para la siguiente prueba allá por Agosto del 2013 en B California
El Dr. Aguilar no compró la explicación fácil de los encuestadores, lo mismo le pasó a Ciro Gomez.
Soy uno de los que seguimos día a día las encuestas diarias, usando tendencias y otras sencillas herramientas estadísticas para seguir la publicada. No vimos mayores problemas con los números solo que… siempre usamos los resultados de las que se obtenían en campo y las que a la torera desaparecían a los «indecisos» y que era lo que los inflaba. Lógico, al desaparecer a los indecisos, la repartición tocaba de a más, pero como era repartición porcentual, al líder le tocaba más.
Si se revisan los datos duros de Milenio, estos si concuerdan con los resultados, sobre todo cuando se reparte entre los contendientes, la parte de los «indecisos». Haciendo ese ejercicio, los resultados si se explican y además, se aproximan mucho a las encuestas.
Pero a estas alturas, ningún encuestador puede salir a decir que equivocaron el método y se tragarán este sapo, hasta las próximas elecciones en que… volverán a «adecuar» el método.
E·n otra oportunidad le detallo el ejercicio.
Felicidades por su revista.
Estoy de acuerdo con el Dr. Aguilar Camín. No se debe mantener la opacidad con los filtros y modelos utilizados. Un punto importante es que mientras se sobreestimó la intención de voto al candidato priísta, las mediciones sobre los demás candidatos presidenciales fueron bastante más precisas. A mi mejor entender, no ha sido mencionado, pero se podria haber dado un «efecto Nicaragua» en las elecciones presidenciales. Cómo se recordará, Los estudios sobre la opinión pública se vieron frente a un importante fiasco cuando todas las casas encuestadoras medían por arriba la intención de voto por el candidato del Frente Sandinista y entonces Presidente, Daniel Ortega en 1990, cuando quien ganó la elección presidencial fue Violeta Chamorro. Algo similar podría haber ocurrido con la sobrestimación del voto a Enrique Peña Nieto, especialmente en aquellos estados sin alternancia o en los que, aunque ya la tuvieron, en el momento de los comicios gobernaba el PRI en el estado y/o municipio. Quizás una porción de encuestados respondió por Peña Nieto porque no creía que su respuesta frente al encuestador fuera a quedar anónima por razones contextuales que valdría la pena investigar. Los encuestadores debería hacer explícito si los filtros y/o los modelos contemplaron este efecto, algo, por otra parte, bastante previsible especialmente en entidades federativas o municipios sin alternancia.