Roy Campos: Encuestas 2012; seguimos sin pronosticar

Roy Campos, director de Encuesta Mitofsky, ofrece aquí sus respuestas a las diversas críticas que han recibido las casas encuestadoras que fallaron en su pronóstico de la elección presidencial por márgenes  muy superiores a sus márgenes de error declarados. Proponemos con este texto el inicio de una discusión sobre este aspecto clave de la credibilidad democrática: la credibilidad de las encuestas. Invitamos a los interesados a participar en el debate enviando sus reflexiones a este blog.

En el título hay un reclamo para quienes pretenden ver a las encuestas como oráculos y ahora hasta las acusan de ser responsables de publicidad, de fraude y por ende hasta de triunfos y derrotas. Llevo al menos 17 años en una lucha, que parece voy perdiendo, para advertir del nulo carácter predictivo de las encuestas y de lo absurdo que tiene calificar a una encuesta como buena solamente porque “le atinó” a un resultado, ese debate lo tuve durante esta campaña ya con Leo Zuckermann aún antes de que iniciaran los cambios en las preferencias.

No obstante mi posición respecto al tema, que reconozco se queda en la visión técnica, entiendo la presión de los medios, del público y de muchos analistas, algunos muy inteligentes, por pedir que las encuestas que se levantan cercanas a la jornada electoral sean parecidas a los datos que arroja la elección, y en este contexto hago un recorrido con reflexiones a manera de explicación sobre lo ocurrido en 2012 en México; se que los detractores a ultranza de las encuestas no quieren oír ninguna explicación, a todo le llamarán justificación, pero incluso de ellos espero disposición a razonar, nada pierdo con tener esa esperanza.

A. Los hechos

1. Se publica la mayor cantidad de encuestas en la historia electoral en México; al final la inmensa mayoría de ellas, con los datos que genera o con algún modelo de pronóstico, da ventaja de dos dígitos a Peña Nieto (EPN) sobre López Obrador (AMLO); el promedio de ellas al final de la campaña ubicaba al primero en 44% y al segundo en 29%, 15 puntos porcentuales de distancia. (Ese promedio coincide con mi medición, así medí faltando una semana para la jornada electoral).

2. El resultado de la elección indica que la ventaja de EPN sobre AMLO es de 7 puntos (39% vs 32%).

3. Los puntos anteriores desatan críticas  y eso coincide con un ambiente en el que se acusa de un proceso electoral sucio, entrando de manera natural las encuestas en el discurso de quienes quieren descalificar la elección. El argumento no es “erro al ganador” sino “erro a la distancia y eso las descalifica en todo su mensaje”.

B. Los reclamos

Trataré de esquematizar todos los comentarios que he leído y escuchado, los que están a favor de las encuestas, los moderados y los radicales en contra, de esa manera puedo dar respuesta a cada uno (ver esquema)

1. “Midieron mal”

1.1. “Errores metodológicos”.– Este reclamo es el único agradable y motivador, es lo que da razón a que cada 3 años desde la elección de 2000 (algunos lo hacemos desde 1994) nos reunimos los encuestadores durante 2-3 días en presencia del IFE y compartimos análisis, metodologías, problemas, planteamientos de solución y al final surgen cosas como cambios a la ya estricta legislación que hoy tenemos o se avanza homogeneizando metodología y evolucionando a discusiones más complejas (recuerdo hace años cuando había quien discutía si las encuestas se debían levantar en la calle por intercepción y cuotas); este año, como ha pasado otras veces nos reuniremos en septiembre-octubre y ahí cada encuestador expone su método, sus críticas, sus propuestas y todo en presencia de la autoridad.

1.2. “Midieron mal de forma tramposa”.- (ver punto siguiente por coincidir)

2. “Midieron bien pero reportaban mal en forma tramposa”

En este caso los argumentos son de todo tipo, en general cargados de partidismo o ideología de todos colores pero puedo agruparlos en 6 grandes grupos:

2.1. ¿Se conformó un grupo de encuestadores para dar la idea de que nada se movía y que el triunfo de EPN era inevitable?– Prácticamente todas las empresas terminan publicando alguna encuesta o algún modelo de pronóstico en el que la ventaja entre EPN y AMLO son dos dígitos de distancia, eso implicaría que ese “grupo” de encuestadores tendría que incluir a tanta gente que sería imposible de sostener el argumento, con la adición de que 2 de esas empresas formaron parte del grupo de 3 empresas que seleccionaron a AMLO como candidato de la izquierda por medio precisamente de una encuesta, afirmar que son tramposas, comprables o que no saben hacer encuestas es dispararse un tiro en el pie.

2.2. ¿Ubicaron artificialmente a EPN muy arriba en las encuestas para generarle votos?– ¿Hay alguien que sostenga ese dicho con hechos? Las campañas se centran en todo el mundo en atacar a quien va adelante y en México eso fue lo que vimos; desde 2011 las baterías partidos opositores al PRI se dirigieron hacia EPN y esto generó incluso en campaña un sentimiento y un movimiento “antipeña”; ¿por qué nunca se atacó así a Madrazo en 2006?, si algo le hubiera convenido a EPN es que NO se publicaran encuestas, estas generaron unión de antipriistas, si quien hubiera aparecido adelante hubiera sido otro los ataques hubieran seguido otro derrotero, la afirmación de publicar para “generarle” apoyos no se sostiene con los hechos.

2.3. ¿Se inhibió el voto ciudadano?- Esta acusación ni necesario debería ser responderla, votaron más de 50 millones de mexicanos, creció más de 20% respecto a 2006 lo que no puede explicarse por el crecimiento demográfico; 63% de participación, mucho mayor a la esperada; esta elección terminó motivando más al ciudadano que la de 2006, a pesar de que aquellas mostraban mayor pelea.

2.4. ¿Se inflaba a Josefina Vázquez Mota (JVM) para mantener la pelea en 2do lugar y no provocar un voto útil?– De nuevo quienes esto aducen se pueden desmentir a sí mismos viendo los resultados; JVM terminó 2 puntos arriba de lo mostrado al final por el promedio de encuestas y la distancia final entre ella y el segundo lugar es menor que la que se tuvo entre 1ro y 2do.

2.5. ¿Mostraban una caída de JVM que era falsa?– Esta acusación se contradice con la anterior, viene más de los simpatizantes del PAN y de la misma candidata, argumentan que JVM ocupó permanentemente el segundo lugar en las preferencias y al bajarla al tercero desmotivaron a sus seguidores. Difícil responder a una acusación basada en los “hubiera” y que no está sustentada en ninguna evidencia, solo podríamos ver, al igual que en el punto 2.1 que para hacer lo que se dice habría tenido que existir un complot de tantas empresas que en ellas estarían algunas que han sido contratadas por el PAN y que incluso en este proceso fueron presentadas por ese partido como confiables.

2.6 ¿Preparaban un fraude repitiendo una mentira? Este argumento está basado en la premisa Goebbiliana “una mentira repetida 1000 veces se convierte en verdad”, pero la acusación básica se sustenta en la existencia del fraude; a quienes acusan es a las instituciones encargadas de la elección por permitir un fraude; en este caso tendría que primero demostrarse que las irregularidades que hubo fueron de tal tamaño y en tal sentido que modificaron la voluntad del ciudadano de todo el país mostrada en las urnas, eso lo juzgará un tribunal, en caso de que no se demuestre un fraude de ese tamaño la acusación pasa a ser falsa de manera inmediata.

3. ¿Midieron bien pero no pronosticaron?

Esta acusación la dejé al final porque me sumo a ella y es donde tengo más evidencia, 13 mediciones semanales durante la campaña además de la atención que puse a todos los datos que publicaban mis colegas, no siempre coincidentes, me hacen estar convencido de esta posición y me extenderé con algunos comentarios

3.1 Hay antecedentes.- En las presentaciones finales de las encuestas antes de la elección e incluso en mi reporte impreso insistí en recordar lo ocurrido en las dos más recientes elecciones presidenciales en México, utilicé incluso la frase “no sé lo que pasará pero sé lo que ha pasado” (ver gráfica). En 2000, en 2006 y ahora en 2012 hay un comportamiento común, en todas bajas el PRI y sube el 2do. lugar.

Hace 12 años el movimiento de 4 puntos de Labastida hacia abajo modificó el ganador; hace 6 años la caída de 4 puntos de Madrazo de nuevo cambia al ganador, y ahora en 2012 la baja es de 5 puntos para el candidato del PRI pero la ventaja que mostraba era suficiente para aguantar ese movimiento y le permite conservar el primer lugar; los cambios en las elecciones anteriores fueron similares y sus efectos son infinitamente superiores, sin embargo el cuestionamiento mayor se da hoy.

3.2 Era factible.- Unos 10 días antes de la elección recuerdo un atrevido texto de Leo Zuckermann (Excélsior, 19-06-2012 “¿porque creo que Peña va a ganar la elección presidencial?) en él analizaba algunas encuestas entre ellas la mía y centraba las conclusiones en las preferencias duras y volátiles de cada candidato (anexo el último dato publicado y difundido al respecto)

Indicaba Zuckermann “…de Consulta-Mitofsky. Peña trae 38% de votantes “duros” y siete por ciento de “volátiles”. Dejemos al priista con este 38%… AMLO por su parte suma 29% de las preferencias: 25% de “duros” y cuatro por ciento de “volátiles”. Estaría, entonces, a siete puntos porcentuales de alcanzar a Peña. ¿De dónde los podría sacar? De los 12 puntos de preferencias volátiles de Josefina, Peña y Quadri. ….¿Imposible? De ninguna manera. ¿Dificilísimo? Sin lugar a dudas.” De acuerdo a este análisis, si terminamos repartiendo los más de 6 puntos volátiles de Peña Nieto unos 2 puntos a JVM y unos 3 a AMLO tendríamos el resultado final, así que el dato no solo era factible sino que se podía prever según los datos publicados y los análisis hechos a partir de ellos.

3.3 Es explicable.- El reclamo al resultado y al “error de pronóstico” me remite a otros dos momentos reclamados a lo largo de este año

a) En diciembre de 2011 ocurre el “evento FIL”, tal vez el mayor tropiezo de EPN que entonces ya era el virtual candidato del PRI; antes de que ocurriera las preferencias mostraban en promedio 54% para él, 25% para JVM y 22% para AMLO; después de ellos, las mediciones en enero y después en febrero donde se le seguía atacando con ello aparecieron en el promedio con 47%, 31% y 21% respectivamente, la distancia entre el primero y el segundo lugar se reducía de 29 a 16 puntos, Peña Nieto caía 4 puntos en el primer mes y 3 en el segundo y en ese momento aparece el primer reclamo “están subestimando su caída, debería ser mayor por el tamaño del error”, sus opositores opinaban o deseaban que el evento de la FIL afectara mucho mas.

b) El 11 de mayo en su visita a la Universidad Iberoamericana se gesta lo que hoy conocemos como el movimiento 132; el cambio que mostraron las encuestas entre finales de abril y finales de mayo fue tremendo, la distancia entre EPN y AMLO pasó de 24 a 15 puntos y el reclamo de los opositores de EPN fue el mismo “están cuidando a EPN”, para ellos el evento Ibero ameritaba un movimiento mayor, no los convencía una disminución de 9 puntos en la ventaja.

c) Ahora imaginemos un evento espectacular, algo que es difícil hasta de decirlo por impresionante pero imaginémoslo de todas maneras. Pensemos que tenemos una medición nacional de las preferencias electorales en un día cualquiera y al día siguiente, en un solo momento “desapareciera” 40% de todos los ciudadanos, que de repente por una tragedia, por una migración o por un acto de magia 4 de cada 10 mexicanos ya no están en el país, en ese caso para conocer el nuevo sentir de los que nos quedan deberíamos volver a medir. ¿Me creerían que un evento de esa magnitud es mayor a lo que pasó en la FIL? ¿Estarían de acuerdo si les digo que eliminar a ese 40% de mexicanos impactaría más que lo que pasó en la Ibero? pues justo eso es una votación; el evento más impactante en una elección, por mucho, sin ningún otro que se le acerque, es sin duda el momento en el que un grupo de ciudadanos decide estar en la categoría de “votante” o en la de “abstencionista”, ambos siguen opinando tal vez igual de que lo hacían antes pero el hecho de decidir formar parte de uno de los grupos los hace distintos, la unión de ellos es la opinión del país, la elección es solo la decisión de uno de los dos grupos, no de ambos. Adicionalmente esa decisión ciudadana de “desaparecer” de la urna no es pareja, en Yucatán solo son 3 y en Michoacán 5 de cada 10.

Si con este ejemplo extremo no se comprende que “los votantes” no tienen porque replicar la preferencia del total de ciudadanos es que no entenderá nunca la función de las encuestas.

C. El papel de las encuestas

Al igual que en toda elección las encuestas hicieron la crónica del proceso, por ellas supimos:

a) La FIL fue costosa para EPN y en su momento benefició a JVM que era la única que estaba en precampaña.

b) AMLO inició la contienda en 3er. lugar y con la peor imagen, al final fue el que mejor campaña hace ya que redujo sustantivamente las opiniones negativas que generaba, creció las preferencias a su favor y terminó claramente superando a JVM; su distancia respecto a ella pasó de (-11) en febrero a (+6) en junio.

c) El evento Ibero perjudica a EPN y beneficia a AMLO, en 3 semanas la distancia promedio entre ellos pasa de 24 a 15 puntos. (este inciso y el anterior son una buena muestra en contra para quienes afirman que las encuestas no se movieron)

d) Al final pudimos observar que la decisión de votar, que se toma en una proporción importante durante el periodo de reflexión y el día de la jornada, repitió el patrón de las elecciones anteriores, bajó al PRI 5 puntos y ellas se distribuyeron aproximadamente 3 al PRD y 2 al PAN.

Ninguna de estas cosas, ninguna, la sabríamos hoy sin haber contado con las encuestas.

D. ¿Qué sigue?

La etapa postelectoral y las reuniones de encuestadores, más allá del intercambio de experiencias y de metodologías, llevará ahora más que en otras ocasiones la pregunta ¿a qué público debemos atender? ¿Al que nos pide pronósticos o al que nos exige diagnósticos? No hay un consenso incluso entre encuestadores y el debate no está acabado en el mundo; algunos entre los que me incluyo defendemos la posición del diagnóstico por muchas razones, porque no tiene nada de científico el andar de adivinador y más cuando el futuro no solo depende de la serie observada sino del comportamiento por ejemplo de los actores políticos que influyen en las elecciones con su campaña o su movilización, o del nivel de participación que no conoceremos sino hasta después de la jornada electoral.

Otros colegas, más ligados a las ciencias sociales y a los medios y alejados de la estadística aducen que la principal función de las encuestas es adelantarnos quién ganará una elección, muy entendible esa posición pero no la comparto. En este caso, la solución “intermedia” al diferendo ha sido el aceptar que las encuestas si bien no pronostican si permiten asignar probabilidades a los distintos escenarios, eso lo acepto.

Y por último hay quienes solucionan de manera pragmática la discusión con una salida “fácil”, presentan 2 resultados, aunque sean muy distintos, Uno es el resultado de la encuesta y otro es un modelo de pronóstico, este “modelo” puede ser tan sencillo como aplicar algunos filtros o tan complicado como introducir variables exógenas pero en ambos casos el problema es su discrecionalidad, cada encuestador puede seguir su intuición y esta puede ser distinta elección tras elección; este año tuvimos pruebas de ello, en junio una encuesta tuvo 12 puntos de diferencia entre 1ro y 2do pero su “modelo” le arrojó que serían 8; y por el contrario otro encuestador tuvo la encuesta en 8 puntos pero publicó su modelo mostrando que pensaba que serían 14 puntos; a una de ellas su intuición le decía “se va a cerrar” a la otra “se va a abrir” sin importar lo que les respondían los encuestados.

E. Conclusiones

Una de las grandes paradojas de una elección es que cada vez que aparece una encuesta en los medios, le piden al encuestador que busque las explicaciones a los cambios, que profundice en los datos por segmentos, por regiones, en los motivos, que haga hipótesis para justificar variaciones de 2, de 1 y hasta de medio punto; sin embargo cuando se presenta la última encuesta antes de la elección parece decirle “y ahora que ya no cambie” o “después ya no me vengas a decir que le decisión de ir a votar modifica estos números”; los medios responsables, los que se interesan realmente en el comportamiento del ciudadano deberían ahora pedirnos el análisis del votante, que utilicemos la última encuesta de la que disponemos que es la encuesta de salida. Los investigadores ahora tenemos un cúmulo de hipótesis que podemos comprobar o rechazar y en eso estamos, en cuanto terminemos de capturar y procesar los registros individuales de los miles de cuestionarios que levantamos para este objetivo, podremos seguir en el estudio del mexicano.

No obstante todo lo que he expuesto aquí, persiste una muy inteligente pregunta que no deja de darme vueltas y que me hizo Denise Maerker, ¿por qué no pasa lo mismo en otros países?, más allá de que hay ejemplos de que si ocurre (Colombia 2010, Argentina 2011, Perú 2011, y en muchas elecciones estatales de México y de EUA), el cuestionamiento persiste  y mi hipótesis personal, que solo se queda por el momento en hipótesis, es que la ausencia de una segunda vuelta electoral que permita consolidar el voto, el ciudadano manifiesta durante la campaña una preferencia pero el día de la jornada electoral un porcentaje de ellos le da un sentido estratégico a su voto y al menos en las últimas 3 presidenciales esa condición ha favorecido al 2do. Lugar.

Como sea, los encuestadores tenemos aun mucho que aprender, al menos es mi caso, y tenemos como cada elección importante un cúmulo de datos para estudiar y muchas hipótesis sobre las cuales trabajar. Estoy convencido de que la industria investigadora en su conjunto midió muy bien lo que pasó en México el primer semestre de 2012; reportó grandes cambios y les dio explicación; aun no termina nuestro trabajo que iniciará con el análisis de las encuestas de salida, con la reflexión sobre los aspectos a mejorar y con las propuestas, en todo ello seguiré diciendo que la adivinación NO es mi negocio.

Roy Campos. Director de Consulta Mitofsky.