KI-Algorithmus prüft ob zu viel Sozialhilfe gezahlt wird

Lesedauer 2 Minuten

In Frankreich prüft ein Algorithmus, ob Familien „zu viel Sozialhilfe“ bekommen. Nicht-Regierungsorganisationen halten diese Berechnung für menschenverachtend und sehen das System als diskriminierend an. Jetzt gehen sie vor Gericht.

Was kritisieren die Verbände?

Die Kritik richtet sich dagegen, dass das System besonders ärmere Menschen treffe und sich auf diese konzentriere.

Die Caisses d´Allocations Familiales (CAF) zahlt Sozialzulagen und zum Beispiel auch Wohngeld an Familien mit geringem Einkommen. Dabei wird gleichzeitig geprüft, ob die jeweiligen Familien hilfebedürftig sind und damit berechtigt, Sozialleistungen zu erhalten.

Ein spezieller Algorithmus entscheidet dann anhand personenbezogener Daten, ob ein Risiko von überzogenen getätigten Leistungen besteht. Genau dagegen richtet sich die Klage, die von einem breiten Bündnis getragen wird.

Ein Koalition aus 15 NGOs

Beteiligt sind 15 Nicht-Regierungsorganisationen, darunter auch die französische Sektion von Amnesty International. Das Bündnis hat Klage beim obersten Verwaltungsgericht Frankreichs eingereicht, dem Conseil d´État.

Verstoß gegen Anti-Diskriminierungsgesetz

Die Kläger sehen einen Verstoß gegen das Anti-Diskriminierungsgesetz. Die französischen Behörden würden rücksichtslos personenbezogene Daten benutzen und damit gegen Menschenrechte verstoßen.

Die Generalsekretärin von Amnesty International, Agnès Callamard, sagte: „Dieses System steht in direktem Widerspruch zu Menschenrechtsstandards und verletzt das Recht auf Gleichheit und Nichtdiskriminierung sowie das Recht auf Privatsphäre.“

Weil geringes Einkommen, Arbeitslosigkeit oder eine benachteiligte Nachbarschaft zu den Risikofaktoren zählen, werden besonders Menschen, die in armen Verhältnissen leben immer häufiger kontrolliert.

Arme sind verdächtig, weil sie arm sind

Die Punkte, die der Algorithmus addiert haben nämlich fast alle mit Armut und schwachen finanziellen Verhältnissen zu tun, und je höher der „Verdächtigungswert“ ist, desto häufiger wird der Betroffene von den Behörden überprüft.

Mit anderen Worten: Wer arm ist, gilt als verdächtig, weil er arm ist und gilt als Risiko, weil er arm ist. Wer arm ist, steht im Verdacht, zu Unrecht Sozialleistungen zu beziehen, weil er arm ist.

Bastien Le Querrec, Jurist der NGO La Quadrature du Net nennt diese Praxis „eine doppelte Bestrafung“ und Ausdruck einer Politik, die die Ärmsten verfolge.

KI-Kontrolle in Sozialsystemen

Seit der KI-Verordnung der EU sind solche Systeme des Social Scoring wie der Algorithmus in Frankreich eigentlich verboten. Allerdings bleibt diffus, welche Systeme gemeint sind, und dadurch lässt sich, wie in Frankreich, das Verbot leicht unterlaufen.
Frankreich und Deutschland waren bei den Debatten um die EU-KI-Verordnung stets dagegen gewesen, diese Systeme einzuschränken. Die französischen Behörden sind jetzt offensichtlich nicht bereit, das EU-Gesetz zu akzeptieren, das ihrem Kontrolldrang einen Riegel vorschiebt.

Ob per Gesetz verboten oder nicht, die menschenrechtswidrige Kontrolle Hilfebedürftiger wird einfach durchgeführt – legal, illegal, vollkommen egal.

Während die französischen Behörden also arme Menschen wegen ihrer Armut kriminalisieren, sind sie selbst es, die sich kriminell verhalten.