- Un análisis sobre los riesgos del uso acrítico de la inteligencia artificial en el ámbito jurídico: al operar mediante patrones predictivos y datos históricos sesgados, los modelos generativos chocan directamente con la obligación constitucional de juzgar con perspectiva de género.
En 2014, un equipo de Amazon empezó a construir una herramienta para leer CVs y calificarlos del uno al cinco. La idea era razonable, porque recibían miles de solicitudes y querían ahorrarse la lectura de tantos perfiles.
El sistema aprendió del único material disponible, que eran los currículos recibidos durante 10 años y las contrataciones que se habían decidido sobre ellos. Un año después notaron que el algoritmo castigaba los currículos que incluían la palabra «mujeres» y bajaba la calificación de quienes habían estudiado en universidades exclusivamente femeninas. Hicieron alrededor de 500 intentos de corregirlo y terminaron por apagarlo. Lo interesante del caso es que el sistema nunca tuvo una variable de género. No la necesitó. Le bastó el cúmulo de información que le alimentaron para aprender patrones y ejecutar.
Y antes de que esto suene a problema ajeno. Va un experimento que cualquiera puede hacer en 2 minutos. Pídanle a un modelo generativo 2 cartas de recomendación con el mismo perfil profesional: una para María y otra para Juan. Es probable que la de ella hable de calidez, de trabajo en equipo, de lo querida que es entre sus colegas; y que la de él hable de logros, de liderazgo y de competencia técnica. Nuevamente, nadie programó eso.
La explicación es más aburrida de lo que uno esperaría. El modelo no tiene acceso a lo que las palabras significan. Mide con qué frecuencia unas aparecen cerca de otras en millones de textos que escribimos nosotros, y si durante décadas «enfermería» apareció junto a «ella» e «ingeniería» junto a «él», guarda esa coincidencia como si fuera información fáctica sobre el mundo y la aplica después a cualquier caso concreto. A eso hay que sumarle que alguien tuvo que etiquetar el material antes del entrenamiento, y que esas etiquetas están cargadas con los sesgos propios de quien hace dicha labor, y que cada vez que una persona acepta una respuesta sesgada sin corregirla le confirma al sistema que acertó.
Donde esto deja de ser anécdota es en el mundo del derecho. COMPAS, la herramienta tecnológica que asigna puntajes de reincidencia y que tribunales estadounidenses usan como base para resolver sobre libertad bajo fianza y duración de la pena, sobreestima el riesgo de las mujeres de manera sistemática.
Entre las personas clasificadas de alto riesgo, las mujeres reincidieron en 25 por ciento de los casos y los hombres en 52 por ciento.
En Brasil, un análisis automatizado de sentencias encontró un patrón sostenido: las mujeres descritas como emocionales y vengativas, la violencia de los hombres explicada por provocación; alimenta eso al algoritmo, y deja de ser cuestión social: pasa a ser consideración fáctica. El sesgo de la máquina lo escribimos nosotros, pero cuando nos lo arroja de regreso, lo tomamos por hechos.
Desde 2016, la Primera Sala tiene establecido que juzgar con perspectiva de género es obligatorio aun cuando ninguna de las partes lo pida, y el método que ordena empieza por identificar situaciones de poder que generen desequilibrio, sigue con cuestionar la neutralidad de la norma aplicable y de las pruebas, y termina con desechar los estereotipos en la valoración de los hechos y el lenguaje que los reproduce. Un modelo generativo trabaja en sentido contrario en cada uno de esos pasos; lo hace por diseño al ser un modelo predictivo, no racional. Generaliza desde lo más frecuente, entrega el resultado sin mostrar el criterio que lo produjo y devuelve convertido en patrón justamente el estereotipo que el método manda desmontar. Firmar un escrito o una sentencia armada sobre esa salida, sin haberla revisado con criterio propio, incumple una obligación que es constitucional.
Se dirá que es un problema de datos y que con mejores datos se arregla. Los 500 intentos de Amazon apuntan en otra dirección: el teorema de imposibilidad demuestra que ningún algoritmo puede lograr al mismo tiempo paridad predictiva e igualdad de tasas de error entre grupos cuando las tasas base difieren. Depurar el dato no borra la decisión: la cambia de lugar. Alguien tiene que definir qué grupo se queda con el error del modelo, y esa definición, parecería que hoy por hoy, reparte derechos.
Las decisiones hoy las toman equipos de desarrollo y comités de estandarización donde no hay mujeres, y a los que la regulación todavía no alcanza. El Reglamento europeo, que es el marco más avanzado que existe, ni siquiera incluyó el género entre las características sensibles protegidas frente a la categorización biométrica.
El tema no es dejar de usar la IA, es hacerlo con criterio. Quienes litigamos tenemos todavía menos margen. El criterio que sostiene el caso de una mujer suele ser el minoritario, y una herramienta entrenada con lo más frecuente no lo va a poner sobre la mesa. Cada escrito que sale sin revisión adopta el criterio de alguien que no lo firmó, que no responde por él y que ya decidió, antes de conocer el asunto. La única defensa sigue siendo la de siempre: leerlo todo y no firmar nada que no hayamos pensado nosotros.
