Crímenes estadísticos: respuesta a Alejandro Poiré y María Teresa Martínez

En el número de mayo de Nexos fue publicado el artículo de Alejandro Poiré y María Teresa Martínez titulado “La caída de los capos no multiplica la violencia. El caso de Nacho Coronel". No es de sorprender que por lo tajante de sus afirmaciones y los puestos públicos de sus autores el artículo sea motivo de atención en muchos círculos nacionales. Su mensaje ha tenido incluso resonancia internacional, por ejemplo, en el blog de The Economist se comentan sus resultados a la vez que se elogia la disposición del gobierno para compilar y analizar la información sobre la violencia en el país. Desde una perspectiva ingenua las noticias parecen buenas: la captura de los líderes de los cárteles no causa un incremento en la violencia, además están los números y un modelo econométrico para probarlo… y como dicen por ahí, los números no mienten.

A pesar de que la afirmación de que la caída de un capo no aumenta la violencia ha producido muchas críticas, pocas han puesto atención en las fallas de diseño que saltan a la vista en su análisis empírico. Éstas nos permiten mantener el escepticismo sobre la hipótesis que pretenden probar los autores, al mismo tiempo que provoca serias dudas sobre lo que está detrás de este análisis. En este artículo, Poiré y Martínez utilizan un modelo de regresión lineal utilizando datos semanales de homicidios en Colima, Jalisco y Nayarit en el periodo posterior a la muerte de Nacho Coronel, uno de los líderes del cártel del Pacífico, en julio de 2010. Como comparación utilizan las semanas anteriores a la muerte del capo. Es decir, hacen uso de un diseño de series de tiempo discontinuas que se utiliza en muchos campos para explorar causalidad, en otras palabras, cómo un evento exógeno afecta una tendencia. A pesar de que la hipótesis resulta interesante y, sin duda, es valioso explorarla, tal y como lo presentan los autores es un ejemplo de cómo este diseño produce parámetros sesgados que pueden llevar a conclusiones erróneas.

No tengo la intención de abundar en detalles teóricos sobre los problemas del modelo que se utiliza, simplemente subrayaré sus problemas más evidentes. En primer lugar, el gran reto de los modelos causales es encontrar un contra-factual adecuado, es decir, una situación hipotética en la que se muestre qué hubiera pasado sin el evento exógeno que afectó a cierta población. Cuando se realizan experimentos con selección aleatoria este contra-factual lo produce el grupo de control, cuando no se tiene esa posibilidad (como en la mayoría de los casos para las ciencias sociales) es necesario encontrarlo con información existente. En los diseños de series de tiempo discontinuas el contra-factual lo aportan los datos anteriores al evento exógeno, lo cual es en muchos casos un supuesto muy fuerte que debe de ser examinado por medio de pruebas estadísticas. La hipótesis usada por Poiré y Martínez supone que el evento exógeno es la muerte de “Nacho” Coronel durante un operativo en Zapopan, Jalisco el 29 de Julio del 2010, y el contra-factual el número de homicidios anteriores a este evento. Existen muchas razones por las cuales este contra-factual puede no ser eficiente, la principal es la posibilidad de que otros factores en esos estados, a nivel nacional, o incluso en el mercado de drogas internacional, hayan cambiado en el mismo periodo de la muerte de este capo. Desde luego, no se aportan pruebas para este supuesto.

La lista de las fallas continúa: 1) No se presentan los errores estándar de la regresión, aunque por la alta dispersión de los datos y el valor del coeficiente R² sospecho que el parámetro del segundo modelo (0.23 en el gráfico 2) es no significativo, es decir no se le puede dar una interpretación certera[1]; 2) La forma funcional del modelo no tiene por qué ser necesariamente lineal, de hecho parece no serlo por una simple inspección de la gráfica que se presenta, es decir, se utiliza un modelo que no se ajusta a los datos; 3) La posible auto correlación de los errores (que no prueban los autores pero que intuyo que existe) viola los supuestos básicos del modelo de regresión lineal y produce que los resultados estén sesgados; 4) No existen pruebas de falsificación que normalmente se utilizan para series de tiempo discontinuas (especificaciones alternativas del evento exógeno o “placebos”, efecto de este evento en otras variables, etc.).

En fin, la lista es larga y la moraleja clara: con un modelo tan débil no se pueden realizar afirmaciones como las que realizan los autores. Cuando dicen “…se puede afirmar que es falsa la hipótesis de que la caída del líder de una organización criminal multiplica la violencia”, están creando una ilusión sin soporte estadístico.

Entiendo que Nexos no es una publicación académica, entiendo también que el objetivo de los autores es de divulgación, lo que me parece absurdo es la utilización de la estadística de una forma tan rupestre para después hacer afirmaciones tan contundentes. Ante esto sólo son previsibles dos tipos de reacciones; entre el público en general, produce la desconfianza natural que se da cuando se quiere explicar temas sensibles con un “método sofisticado”, en segundo lugar genera las críticas razonables ante la falta de rigor metodológico por parte del público que conoce de modelos causales. El mensaje que se quiere expresar aquí no llega al público porque está viciado de origen. Lo único que se percibe es un mal uso de la información.

En 2004 un grupo de científicos, incluidos varios premios Nobel, publicó en Estados Unidos un documento titulado Restoring Scientific Integrity in Policy Making, como una crítica a la manipulación de la información por parte de la administración Bush. En él, se reprochaba el proceso en el que el análisis científico fue distorsionado para estar alineado con la ideología del gobierno. También se dan varios ejemplos decómo los números pueden ser utilizados para decir casi cualquier cosa. Estoy convencido que el análisis empírico de la información es fundamental para hacer propuestas de política pública. En el caso de la lucha contra el crimen organizado es urgente crear análisis de calidad tanto cuantitativos como cualitativos, ojalá eso se hubiera hecho antes de empezar la estrategia militar, ojalá también que todos los gobiernos anteriores hubieran puesto mayor empeño en obtener datos sobre el problema. Ya que eso no sucedió parece que tenemos que empezar desde lo más básico. El análisis de Poiré y Martínez lo confirma.

¿Cuál podría ser una mejor manera de aportar a la comprensión del problema de violencia? Una opción sería la de utilizar esa base de datos sobre homicidios presuntamente relacionados con el crimen organizado, en la que entiendo que el gobierno federal ha puesto un enorme esfuerzo y muchos recursos, para producir reportes con análisis robustos que puedan ser replicables. Al presentar un análisis tan débil como el que hacen Poiré y Martínez en su artículo terminan sólo por generar confusión y desconfianza sobre la profundidad de los análisis al interior del Consejo de Nacional de Seguridad.

Edgar Franco Vivanco. Estudiante del posgrado en Política Pública en Stanford University.

[1] Ya que la base de datos pública sobre crímenes presuntamente relacionados con el crimen organizado sólo presenta datos mensuales el análisis que realizan los autores desafortunadamente no es replicable, sin embargo, una simple inspección de la gráfica puede servir para obtener datos aproximados. Al realizar las regresiones, se obtiene -en efecto- un coeficiente no significativo estadísticamente en el segundo modelo. Una manera más consistente de probar esta significancia sería realizar un solo modelo con los dos periodos y realizar una prueba F conjunta para probar la hipótesis de que el cambio en la tendencia es cero. Nuevamente, la prueba realizada con datos aproximados muestra resultados no significativos para esa hipótesis, es decir, no se puede afirmar que existió un cambio en la tendencia después de la muerte de “Nacho” Coronel. Como ejemplo, a continuación se muestran los resultados con los datos aproximados derivados de el Gráfico 2 del artículo de Poiré y Martínez:

	Antes de la muerte de “Nacho” Coronel (Y)	Después de la muerte de “ Nacho” Coronel (Y)
Tendencia (X)	1.14 ***(0.227)	0.24 (0.274)
Constante	7.29 **(2.984)	18.61 *(9.355)
R2	0.5351	0.0378

Los errores estándar están en paréntesis

***Significancia al 99%, **Significancia al 95%, *Significancia al 90%