Amnistía Internacional ha pedido la inmediata discontinuación del sistema de bienestar alimentado por algoritmos en Suecia, citando su objetivo desproporcionado a grupos marginados para investigaciones de fraude en beneficios.
Una investigación de Lighthouse Reports y Svenska Dagbladet reveló que el sistema de aprendizaje automático utilizado por Försäkringskassan, la Agencia Sueca de Seguridad Social, señala con más frecuencia a mujeres, trabajadores de bajos ingresos y personas de origen extranjero para investigaciones de fraude.
Desde su implementación en 2013, el sistema asigna puntajes de riesgo a los solicitantes, que desencadenan investigaciones para aquellos considerados de alto riesgo. Sin embargo, es en gran medida ineficaz para identificar el fraude real entre individuos ricos y hombres.
El informe de Amnistía destaca que las personas señaladas enfrentan un escrutinio invasivo, incluyendo la vigilancia de redes sociales y entrevistas con vecinos, lo que puede retrasar su acceso a los beneficios sociales.
David Nolan, investigador principal de Amnistía Tech, criticó el sistema por perpetuar la desigualdad y la discriminación, afirmando: "Este es un claro ejemplo de la violación del derecho de las personas a la seguridad social, la igualdad y la privacidad por un sistema claramente sesgado."