El Observatorio de Algoritmos con Impacto Social (OASI) de la Fundación Eticas recoge algoritmos que están presentes en instituciones públicas españolas con el objetivo de concienciar sobre su presencia y riesgos en términos de discriminación que en determinados casos puede pasar si no se realiza un ejercicio de transparencia y de análisis de uso de estos.
Sistemas algorítmicos utilizados por distintos organismos públicos en España
España es el sector de las fuerzas del orden en el que más se usan este tipo de algoritmos. Un ejemplo de ello, es el caso de VioGén, un sistema que detecta el riesgo de reincidencia de agresores en casos de violencia de género. Aunque se sabe cómo se creó y cómo funciona, el código del algoritmo sigue sin revelarse, también se desconoce el peso que tienen las diferentes preguntas del protocolo para que el algoritmo genere una puntuación de riesgo. Otro ejemplo sería el caso de Riscanvi, utilizado en Catalunya desde el año 2009. Su labor es calcular la probabilidad que tiene un preso en libertad de volver a reincidir.
Por otro lado, está TENSOR, encargado de supervisar posibles actividades terroristas en internet. Por consiguiente, VERIPOL se encarga de detectar denuncias falsas. Para ello, utiliza el procesamiento del lenguaje natural y el aprendizaje automático para analizar una llamada y predecir la probabilidad de que la denuncia sea falsa.
Un caso bastante conocido de este tipo de algoritmos es la Identificación facial. Aunque, en ocasiones, estos sistemas pueden suponer un problema para el derecho a la privacidad de las personas, así como por la elevada tasa de falsos positivos a la hora de detectar posibles personas bajo seguimiento policial o vigilancia.
En cuanto a los servicios sociales, los sistemas algorítmicos están enfocados a clasificar a las personas según sus necesidades, urgencias o cualquier aspecto básico que necesiten, lo que puede conllevar ciertos riesgos, como por ejemplo la amenaza a la privacidad de los beneficiarios de los servicios sociales o la posibilidad de que se produzcan sesgos discriminatorios contra mujeres, inmigrantes y otros colectivos desfavorecidos.
El Gobierno presenta una herramienta para analizar el impacto de los algoritmos en las condiciones laborales
Leer más
En base a esto es importante mencionar algunos de los sitemas empleados en servicios sociales en España recogidos en OASI, el registro de la Fundación Eticas. El primero es ISSA, el chatbox de la Seguridad Social. En este caso, como su código no es público y no puede ser auditado, es posible que el chatbot esté ofreciendo las mismas respuestas a diferentes usuarios dependiendo de cómo se expresen. Por ese motivo, existe la posibilidad de discriminación hacia las personas cuya lengua materna no sea el español, ya que pueden recibir un peor servicio o respuestas erróneas por parte del chatbot. A continuación, está BOSCO, que regula el bono social para el pago de la factura de la luz. Además, su labor es revisar las solicitudes del bono social y hasta decide el resultado
Finalmente, en el ámbito laboral, para encontrar empleo existe el algoritmo SEND@ que realiza una búsqueda entre un grupo de personas que tienen un perfil semejante y se fija en aquellos que tienen mejor trayectoria profesional y en las acciones que han realizado para ofrecer recomendaciones formativas. Pero, existe un riesgo de discriminación ya que históricamente algunos grupos de personas han sido discriminados a la hora de buscar un empleo como las mujeres y las minorías sociales, por este motivo, el algoritmo corre el riesgo de reforzar ese tipo de discriminación.
Si (
No(
