Amnesty International hat die sofortige Einstellung des algorithmisch gesteuerten Wohlfahrtssystems in Schweden gefordert, da es unverhältnismäßig marginalisierte Gruppen für Betrugsuntersuchungen ins Visier nimmt.
Eine Untersuchung von Lighthouse Reports und Svenska Dagbladet ergab, dass das von Försäkringskassan, der schwedischen Sozialversicherungsagentur, verwendete maschinelle Lernsystem Frauen, einkommensschwache Personen und Menschen mit ausländischem Hintergrund häufiger für Betrugsuntersuchungen kennzeichnet.
Seit seiner Einführung im Jahr 2013 weist das System Antragstellern Risikopunkte zu, die Untersuchungen auslösen, wenn sie als hochriskant gelten. Es ist jedoch weitgehend ineffektiv bei der Identifizierung von Betrug unter wohlhabenderen und männlichen Personen.
Der Bericht von Amnesty hebt hervor, dass markierte Personen invasiver Kontrolle ausgesetzt sind, einschließlich der Überwachung sozialer Medien und Nachbarbefragungen, was ihren Zugang zu Sozialleistungen verzögern kann.
David Nolan, leitender Ermittlungsforscher bei Amnesty Tech, kritisierte das System dafür, bestehende Ungleichheiten und Diskriminierungen zu verschärfen, und erklärte: "Dies ist ein klares Beispiel für die Verletzung des Rechts der Menschen auf soziale Sicherheit, Gleichheit und Privatsphäre durch ein offensichtlich voreingenommenes System."