edu

El porqué de la polémica

Una de las preguntas más interesantes en cuanto a la cancelación de la prueba ENLACE es por qué ha generado tanta polémica. En otros tiempos la decisión por parte de las autoridades gubernamentales no hubiese sido del conocimiento público, y no estaría yo escribiendo este texto. Sin embargo, los bríos de la reforma educativa se centraron en la evaluación a docentes, y por consecuente de sus alumnos, con el motivo de transparentar al sistema educativo y pedir cuentas a las instituciones del magisterio, especialmente sobre lo que no se ha logrado. Esta reforma se alinea con un movimiento mundial en el sector educativo que exige la rendición de cuentas y enfatiza el uso de exámenes estandarizados para comparar estudiantes o escuelas, así como países. En Estados Unidos por ejemplo, la ley federal No Child Left Behind exige a los estados establecer estándares de calidad, evaluar alumnos y certificar a maestros como una pre-condición al financiamiento. De igual manera, cada vez son más los países que participan en las evaluaciones estandarizadas internacionales PISA, TIMSS o PIRLS, y LLECE de la UNESCO en América Latina.

La prueba de ENLACE básica es sin duda una herramienta deseable de seguimiento educativo porque debe aplicarse a todos los estudiantes de 3º de primaria a 3º de secundaria, para verificar el aprendizaje adquirido, según lo establecido en el currículum de español, matemáticas y una tercera materia que cambia cada año. Más aún, su continuidad anual la dotaba de una característica importante que permite analizar mejor el aprovechamiento escolar, pues éste es un proceso que se acumula a través del tiempo. Es así que el desarrollo de nuestro sistema educativo depende de instrumentos de buena calidad con estas características.

El estado del debate

El debate en torno a ENLACE se ha dado sobre la validez política del instrumento, no la técnica. Lo fundamental de la discusión entre autoridades educativas y sociedad civil es la exigencia de rendición de cuentas, esta vez sobre lo que hacen las autoridades. El INEE (Instituto Nacional para la Evaluación de la Educación), en una entrevista concedida por el miembro de la Junta de Gobierno Eduardo Backhoff, explica que la SEP anunció no estar preparada para realizar la prueba en 2014, en la espera a que el INEE dictaminara la pauta a seguir. El INEE menciona en este texto las condiciones que propiciaron que la prueba se hubiera corrompido, refiriéndose a las prácticas sutiles pero perversas, como enseñar para la prueba, en un contexto de decisiones de alto impacto (que más adelante discuto), y a las más obvias como el robo y destrucción de pruebas.

Algunos investigadores piensan que la prueba tenía una calidad aceptable, mientras que otros comparten su recelo por la pérdida de confiabilidad. La sociedad no está muy convencida de sus disfuncionalidades, pero lo que cabe resaltar de su posición es la exigencia a las autoridades educativas para transparentar sus decisiones. La campaña SíENLACE2014 critica la decisión draconiana de cancelar la prueba antes de haber ofrecido una mejor alternativa o haber terminado su análisis. Sin duda esto es algo significativo, pues indica que en México existe una cultura de evaluación que no se quiere que se rompa. Esto es relevante en un momento donde tras encarcelar a Elba Esther Gordillo y acelerar las reformas educativas no se toleran más los vicios del sistema.

¿Árbol torcido se endereza?

Uno de los vicios notables es quizá el mal uso de ENLACE. La causa principal de una posible pérdida de confiabilidad del instrumento es que el estímulo económico del Programa Nacional de Carrera Magisterial se sobrecondicionó a los resultados de ENLACE. Para identificar a maestros efectivos es importante poder analizar el rendimiento académico de sus alumnos (cosa casi imposible de hacer en México por cómo están construidas las bases de datos de ENLACE). El problema es que Carrera Magisterial ofreció un bono financiero importante, que podía aumentar de 20 a 200% el salario de un maestro perenemente, según el aprovechamiento escolar de sus alumnos. Para decidir qué maestros recibían el bono, Carrera Magisterial le daba en 1993 un 7% del peso al rendimiento académico. En 1998 éste aumentó a 20%, y en 2011 llegó a ser hasta del 50%. Además, ENLACE no sólo se usó en Carrera Magisterial, sino también en el Programa de Estímulos a la Calidad Docente y en el Sistema de Evaluación Universal. Puesto en perspectiva, la tentación a la trampa es fuerte, pero afortunadamente, la moral y ética son todavía más importantes para muchos de nuestros maestros.

Lo que verdaderamente me hace dudar de la prueba son sus resultados. El incremento que supuestamente se dio entre 2006 y 2013 en algunos estados no es creíble. En la prueba de matemáticas aplicada a primarias, el incremento fue de 2.9 desviaciones estándar[1] en Guerrero, 2.4 en Chiapas y 1.8 en Oaxaca. Esto es inverosímil si no hubo un cambio fundamental en la educación de estos estados que pudiera haber sido la causa de estos extraordinarios resultados. Éstos sólo se hubiesen podido alcanzar en un caso extremo, en que digamos no hubiesen existido escuelas que de pronto se construyan. Es más, el importante experimento Tennessee STAR[2] en Estados Unidos demostró que la reducción del número de alumnos por clase es efectiva para mejorar el aprendizaje de los alumnos, pero éste sólo aumentó en 0.15 desviaciones estándar.

Si estos argumentos no son aún convincentes, a continuación muestro dos gráficas preparadas por la SEP que presentan los resultados alcanzados entre 2006 y 2013 por las primarias a nivel nacional en matemáticas, según ENLACE. En éstas se muestra que la brecha inicial de 64 puntos porcentuales entre la proporción de estudiantes con nivel insuficiente o elemental y los que alcanzaron un buen o excelente nivel se cierra a 2 puntos en el 2013. De nuevo, todavía no pasa algo extraordinario en nuestro sistema para alcanzar estos resultados. Una gráfica más normal de la realidad la arrojan los resultados de la prueba en español, administrada a las secundarias.

2

Fuente: Secretaría de Educación Pública (2013). Resultados Históricos Nacionales 2006-2013. Disponible aquí.

1

Fuente: Secretaría de Educación Pública (2013). Resultados Históricos Nacionales 2006-2013. Disponible aquí.

Al final de cuentas, creo que el debate será productivo, no sólo porque demuestra la existencia de una cultura de evaluación o demanda transparencia en las decisiones de las autoridades educativas, sino porque exige estándares de calidad de evaluación. No tengo duda que el INEE podrá hacer frente. No importa a este punto quién haya decidido suspender el examen antes de la finalización del reporte sobre su análisis. Tampoco importa que el examen no se aplique en 2014 pues creo que árbol torcido difícilmente se endereza. Lo que importa es lo que viene, las nuevas evaluaciones que el INEE tendrá que delinear y la SEP aplicar. En este sentido, el debate ha sido positivo al aumentar las expectativas.  Ojalá continuemos así cuando pasemos a la evaluación docente.

Vania Salgado trabaja como consultora en temas de monitoreo y evaluación en educación en el Banco Mundial. Está terminando su maestría en Educación Internacional en Columbia University, Teachers College, enfocándose en evaluación de docentes. Tiene una maestría en Economía del Desarrollo y una licenciatura en Ciencia Política por Sciences Po Paris.


[1] Una desviación estándar indica qué tan dispersos están una serie de números respecto a su promedio, que en una distribución normal no llega a tener más de 3 desviaciones estándar. Una alta desviación estándar indica que hay mucha diferencia entre el número más pequeño y el más grande, pues estos están alejados de su promedio. En este caso, nos ayuda a comparar resultados de exámenes que hayan sido diseñados en diferentes escalas.
[2] Tennessee STAR (Student-Teacher Achievement Ratio) fue un experimento controlado llevado a cabo en 1985 en Tennessee, Estados Unidos, que analizó si la reducción del número de estudiantes por clase causaba el incremento del rendimiento académico, distribuyendo aleatoriamente 6,500 estudiantes en grupos de 13 a 17 y de 22 a 25, siguiéndolos por cuatro años. Mayores detalles en este sitio.

Te recomendamos: