A raíz de la publicación del reportaje de Andrés Lajous y Paris Martínez sobre los donativos que ha recibido la mancuerna Enova-Proacceso, en varios medios se ha discutido la escasa transparencia y rendición de cuentas de los receptores de esta donación multimillonaria. Quienes han seguido de cerca la discusión se preguntarán si al menos sirvieron de algo los 1,700 millones de pesos que los mexiquenses regalaron a la fundación Proacceso y la empresa Enova. Más allá de la opacidad en la asignación y gestión de los recursos, ¿ha funcionado este proyecto?
En la página de internet de Proacceso anuncian grandes beneficios de la Red de Innovación y Aprendizaje (RIA), el principal proyecto de la fundación: “cada $1 invertido en la RIA genera $1.74 en crecimiento económico; los adultos inscritos aumentan en $3,898.91 su potencial de ingreso; una usuaria de la RIA, incrementa 386% sus probabilidad de encontrar trabajo”. [El énfasis es mío] Si estas cifras fuesen correctas, con 1,700 millones de pesos gastados en 420 mil usuarios, la RIA sería sin duda un éxito rotundo. Tremendos beneficios a 245 dólares por usuario colocarían la RIA a la par de los programas de erradicación de pobreza más exitosos del mundo (en términos de costo-beneficio). Véase, por ejemplo, este artículo publicado en el Monkey Cage del Washington Post sobre las intervenciones más rentables en combate a la pobreza.
Desafortunadamente, no hay rastro de evidencia que indique que los beneficios presumidos en la página de Proacesso sean ciertos. ¿De dónde vienen estas cifras? Con base en la evidencia disponible es imposible saberlo, pero sería bueno que compartieran sus cálculos. La única pieza de evidencia mostrada hasta ahora y que se ha usado tanto para promover como para discutir los presuntos beneficios del proyecto es la evaluación de impacto elaborada por la consultoría privada C230. Según el reporte de dicha evaluación, los alumnos de cuarto grado de primaria que recibieron el apoyo del programa lograron un incremento en el puntaje de la prueba Enlace 2011 de 6% en español y 7% en matemáticas. Aunque parten de enfoques metodológicos distintos, estos resultados contrastan con los reportados en un artículo reciente de José Merino y Eduardo Fierro, publicado simultáneamente en Nexos y Animal Político. Merino y Fierro encuentran que entre 2009 y 2013, en las escuelas cercanas a los centros RIA el porcentaje de alumnos con excelencia en la prueba Enlace creció menos que en el resto del Edomex.
Los resultados de la evaluación de C230 son particularmente importantes por dos razones. Por un lado, cualquier evaluación de impacto tiene como objetivo aislar y medir los efectos atribuibles a la intervención en cuestión (llámese programa social, proyecto, o política pública). En este sentido, el papel que desempeñan los evaluadores es fundamental, pues los resultados de sus análisis influyen directamente en el proceso de elaboración de políticas públicas. Por otro lado, en términos de diseño, la evaluación de C230 está inspirada en las mejores prácticas de evaluación de impacto causal. Sin embargo, el reporte de resultados es bastante raquítico como pieza de evidencia empírica.
Aislar estadísticamente el efecto causal de cualquier intervención no es cosa fácil. ¿Por qué? Siguiendo el clásico modelo causal en el análisis estadístico, supongamos que la RIA sólo ha tenido un alumno beneficiario desde su creación y queremos medir el impacto de dicho programa sobre el desempeño del alumno en la prueba Enlace. En teoría, identificar el efecto causal de esta intervención requeriría comparar el puntaje obtenido por el alumno tras haber asistido a los cursos RIA con el puntaje que habría obtenido si no hubiera asistido a dichos cursos (digamos, en un mundo paralelo). Como es imposible observar ambas cosas a la vez, lo más cercano a este escenario hipotético es seleccionar de forma aleatoria los alumnos que serán beneficiados por el programa. De este modo podemos construir dos grupos de estudiantes que (en promedio) son casi idénticos, pero difieren en su exposición a los beneficios de la RIA (un grupo de tratamiento y otro de control).
La evaluación de C230 partió de este principio experimental, que es —como la misma consultoría señala— el “estándar de oro” en las evaluaciones de impacto. De octubre a diciembre de 2010 se llevó a cabo el proceso de selección de niños entre 6 y 12 años de edad para acceder a una beca de 100% de la colegiatura de Expedición RIA. Recibieron 1,375 aplicaciones y seleccionaron 1,087 niños beneficiarios de forma aleatoria. A los niños restantes se les consideró como grupo de control. Aunque la muestra es relativamente pequeña, el diseño de la evaluación es adecuado para identificar efectos causales en este tipo de intervenciones.
¿Cuáles fueron los resultados de esta evaluación? De acuerdo con el reporte de C230, sólo se se detectaron efectos positivos y estadísticamente significativos en la prueba Enlace 2011 para los alumnos de cuarto de primaria. Para los alumnos de tercero, quinto y sexto no se detectaron efectos significativos. Dado el tamaño de la muestra, es probable que efectos de menor magnitud no hayan sido detectados por el análisis estadístico. Pero también es factible que los beneficios de la RIA hayan sido nulos.
El reporte de C230 en sí mismo no dice mucho más. Llama la atención que en un documento de 27 páginas la discusión de resultados sea tan escueta y que no se reporten en ningún lado las estimaciones de los modelos econométricos. En otras palabras, la presentación de resultados como tal es inexistente. También llama la atención que no haya alusión alguna al nivel de significación estadística del efecto encontrado para los alumnos de cuarto de primaria. La tabla que muestra los puntajes promedio obtenidos por los grupos de control y tratamiento en la prueba Enlace 2011 no incluye las desviaciones estándar, por lo que no podemos averiguar si existen diferencias estadísticamente significativas entre ambos promedios. En esta misma tabla podemos observar que, entre los alumnos de tercero y quinto de primaria, el grupo de control tuvo mejor desempeño en español y matemáticas que el de tratamiento.
Así pues, con base en la información presentada en el reporte de C230, no podemos concluir que la asignación de becas Expedición RIA haya tenido un impacto positivo sobre el desempeño de sus beneficiarios en la prueba Enlace 2011. Simplemente no existe tal evidencia, o al menos no en este reporte. Sería lamentable y preocupante que los resultados de esta evaluación se hayan usado para promocionar los supuestos beneficios de la RIA.
Las evaluaciones de impacto son cruciales para mejorar el diseño e implementación de políticas públicas basadas en evidencia, pues ayudan a diagnosticar qué funciona y qué no funciona. Pero los resultados de una evaluación de impacto no son trozos de verdad en sí mismos. Muchas veces no son siquiera producto de un ejercicio empírico metodológicamente riguroso. Es fácil promover los supuestos beneficios de una política pública citando cifras o resultados que llaman la atención. Otra, muy distinta, es sustentarlos con evidencia.
Omar García Ponce es candidato a doctor en ciencia política por la Universidad de Nueva York. A partir de septiembre se incorporará al Center for Global Development en Washington DC como Postdoctoral Fellow.