Amnesty International a appelé à l'arrêt immédiat du système d'aide sociale alimenté par l'algorithme en Suède, citant sa cible disproportionnée des groupes marginalisés pour les enquêtes sur la fraude aux prestations.
Une enquête de Lighthouse Reports et de Svenska Dagbladet a révélé que le système d'apprentissage automatique utilisé par Försäkringskassan, l'Agence suédoise des assurances sociales, signale plus fréquemment les femmes, les personnes à faible revenu et celles d'origine étrangère pour des enquêtes sur la fraude.
Depuis sa mise en œuvre en 2013, le système attribue des scores de risque aux demandeurs, déclenchant des enquêtes pour ceux jugés à haut risque. Cependant, il est largement inefficace pour identifier la fraude réelle chez les individus plus riches et masculins.
Le rapport d'Amnesty souligne que les individus signalés subissent une surveillance invasive, y compris le suivi des réseaux sociaux et des entretiens avec des voisins, ce qui peut retarder leur accès aux prestations sociales.
David Nolan, chercheur d'investigation principal chez Amnesty Tech, a critiqué le système pour sa perpétuation de l'inégalité et de la discrimination, déclarant : "C'est un exemple clair de violation du droit des gens à la sécurité sociale, à l'égalité et à la vie privée par un système biaisé."