En los últimos años, la Inteligencia Artificial se ha desarrollado e implementado de forma acelerada. Conforme los gobiernos van recopilando y sistematizando grandes cantidades de datos, se ha popularizado el uso de sistemas automatizados para informar la toma de decisiones. En particular, en el sistema de justicia penal, estas herramientas llevan décadas siendo utilizadas por gobiernos de todo el mundo con la intención de predecir delitos, evaluar riesgos y ayudar en los procedimientos judiciales. Sin embargo, ni los datos ni los algoritmos están exentos de sesgos, mismos que pueden reproducir y perpetuar desigualdades y llevar a resultados injustos. Por esta razón, es urgente dialogar sobre los riesgos del empleo de sistemas automatizados en seguridad y justicia, en especial en países como México, en los que no contamos con suficientes salvaguardas para evitar el uso indebido de la información y violaciones a nuestros derechos humanos fundamentales, como la privacidad.
Inteligencia artificial en seguridad y justicia
Lo que hoy conocemos como IA no son más que sistemas para el procesamiento y análisis automático de la información. Estos sistemas funcionan con base en algoritmos y modelos estadísticos, alimentados por grandes cantidades de datos, y son utilizados para automatizar procesos humanos, como identificar patrones, hacer predicciones o resolver problemas. Si bien los sistemas de IA con los que contamos actualmente no son literalmente “inteligentes”, el fin último de esta disciplina es llegar a la Inteligencia Artificial General (IAG), es decir, sistemas cada vez más autónomos capaces de realizar cualquier tarea intelectual que los seres humanos puedan hacer.
Existen varios ejemplos de implementaciones de IA en los sistemas de seguridad y justicia alrededor del mundo. En particular, Estados Unidos ya ha implementado estos sistemas en gran parte de sus agencias policiales y judiciales, entre ellos se encuentran:
• Modelos de vigilancia policial predictiva.Utilizan algoritmos y datos históricos de los delitos para prevenir el crimen. En EE.UU. se ha popularizado el uso de PredPol, un algoritmo de aprendizaje automático (machine learning) utilizado para predecir dónde y cuándo es más probable que sucedan ciertos delitos y, así, ayudar a dirigir patrullajes a estas zonas. Sin embargo, se ha evidenciado cómo el algoritmo predice con mayor probabilidad que los delitos sucedan en zonas con más residentes de color, latinos o de bajos ingresos. En consecuencia, estas zonas son más patrulladas, registran más incidentes y se predicen más delitos en ellas.
• Herramientas de evaluación de riesgos. Están diseñadas para predecir el comportamiento futuro de los imputados y las personas sentenciadas. Un ejemplo controversial es el algoritmo COMPAS (por sus siglas en inglés Correctional Offender Management Profiling for Alternative Sanctions), utilizado por algunos tribunales de Estados Unidos para predecir el riesgo de reincidencia de los acusados. Su uso ha sido fuertemente criticado debido a que perpetúa sesgos raciales, presenta ineficacias en sus predicciones y es poco transparente en cómo se obtienen las puntuaciones de riesgo.
• Tecnologías de vigilancia y reconocimiento facial. Estas tecnologías ya están siendo utilizadas por la mitad de las Agencias policiales federales en EE.UU. en la investigación de los delitos, ya sea para reconocer caras o identificar personas. La integración de IA en los sistemas de reconocimiento facial puede, por ejemplo, buscar automáticamente rostros en bases de datos y compararlos con rostros detectados en una imagen o escena. Sin embargo, de acuerdo con una evaluación de diversos sistemas de reconocimiento facial en este país, estos sistemas son más propensos a equivocarse con poblaciones nativas, afroamericanas y asiáticas. Incluso se han documentado casos de falsos positivos, es decir, personas de color detenidas injustamente debido al uso de estas tecnologías.
Principales desafíos en el uso de la IA en la justicia en México
Si bien los modelos automatizados pueden ser útiles para analizar grandes cantidades de datos, su uso en las instituciones de seguridad y justicia conlleva grandes riesgos. Estos riesgos incluso pueden ser más altos en países como México, con instituciones de seguridad y justicia débiles y sin suficientes salvaguardas legales para evitar violaciones de derechos humanos.
Para empezar, en el país aún estamos lejos de contar con datos confiables sobre los procesos judiciales. Esto está principalmente relacionado con la ausencia de sistemas de información homologados, capaces de sistematizar los procesos penales de forma estructurada, en sus diferentes etapas y desagregaciones. En particular, la falta de desagregación de la información, tanto de las víctimas como de los imputados, dificulta dar luz sobre las desigualdades presentes en nuestro sistema de justicia, como las disciminaciones por sexo, género, edad, condición socieconómica, de discapacidad o de ser perteneciente a alguna comundiad indígena. Estos vacíos de información pueden derivar potencialmente en resultados que afecten a las poblaciones más vulnerables, como en el caso de PredPol.
Además, como lo evidencia el caso de COMPAS, los algoritmos y parámetros empleados tampoco están exentos de reproducir estereotipos y sesgos que, otra vez, conduzcan a resultados injustos o que perpetúen las desigualdades sociales. Sin embargo, descubir si un sistema presenta discriminación algorítmica es sumamente difícil, ya que por lo general suelen ser una caja negra: opacos y difíciles de entender para la población.
El tercer gran reto en la automatización de la justicia es que, sin una regulación y salvaguardas adecuadas, los gobiernos pueden utilizar los datos de las personas para vulnerar derechos humanos, como el derecho a la privacidad. En México, en los últimos años, se ha intensificado el uso de vigilancia no autorizada por parte de las autoridades. Tanto la antes Procuraduría General de la República (ahora FGR) y el Centro Nacional de Inteligencia, como la Secretaría de la Defensa Nacional, han sido acusadas de utilizar el programa Pegasus para espiar a ciudadanos y miembros de la sociedad civil, sin que hasta la fecha se hayan asignado las responsabilidades correspondientes. Por el contrario, el mismo presidente de la República ha justificado el uso de estas herramientas de vigilancia para labores de inteligencia.
Necesitamos salvaguardas para no automatizar la injusticia
La Inteligencia Artificial nos está alcanzando. Por eso, es sumamente relevante no perder de vista que la tecnología no es neutral, y que el uso de sistemas automatizados en el proceso penal conlleva grandes riesgos y puede potencialmente derivar en resultados injustos. Los riesgos son tan altos que algunas organizaciones en la Unión Europea han propuesto que se prohíba en su totalidad el uso de sistemas automatizados de evaluación de riesgos en los procedimientos judiciales. Por su parte, algunas ciudades de Estados Unidos, como San Francisco o Boston, ya han prohibido el uso de tecnologías de reconocimiento facial en sus agencias de policía. En este sentido, es urgente empezar a dialogar sobre qué regulación necesitamos para evitar el mal uso de sistemas automatizados en el contexto mexicano, en el que persisten niveles altos de impunidad y de violaciones a derechos humanos, incluso perpetrados por las mismas autoridades.
Las experiencias internacionales deben ser una lección para México sobre la necesidad de contar con un marco legal que promueva el uso ético y responsable de los datos, la transparencia, y el respeto a la privacidad. El peor escenario sería que la Inteligencia Artificial nos rebase, con perspectivas tecnosolucionistas, vacíos legales y sin las salvaguardas necesarias para no automatizar (más) la injusticia y las violaciones de derechos humanos.
Monserrat López Pérez
Analista de Datos de Impunidad Cero