Wat ging er mis bij de Rotterdamse kunstmatige intelligentie-jacht op fraudeurs?

Er zijn momenteel hoge verwachtingen van het potentieel van kunstmatige intelligentie om de wereld efficiënter te maken in het algemeen en de verzorgingsstaat in het bijzonder. Tegelijkertijd is er een debat gaande over de regulering van kunstmatige intelligentie (AI/AI) via de AI-wetgeving van de EU.

Sommigen hebben betoogd dat de ontwikkeling van kunstmatige intelligentie moet worden opgeschort. Ten slotte zal de SV in de publieke sector een verbod invoeren op het gebruik van nieuwe bedrijfsinstrumenten gebaseerd op kunstmatige intelligentie.

Ik wil waarschuwen voor zowel een onkritische pauze als de plotselinge introductie van kunstmatige intelligentie in de publieke sector. We kunnen veel van Rotterdam leren om de juiste balans te vinden.

Misbruik van vangnet

Een nadeel van de verzorgingsstaatmedaille is het misbruik van het vangnet. Daarom gebruikt Rotterdam sinds 2015 een algoritme om bijstandsfraudeurs op te sporen.

Het ging vreselijk mis.

Tussen 2015 en 2019 gebruikten verschillende Nederlandse gemeenten een machine learning-model van de overheid genaamd SyRI (System Risk Indicator) om welzijnsfraudeurs op te sporen.

SyRI is een doorontwikkeling van twee eerdere systemen en getraind op data verzameld vanuit Rotterdam. SyRI berekent het individuele frauderisico voor een persoon die gebruik maakt van welzijnsdiensten op basis van in totaal 315 kenmerken of datapunten voor die persoon. Een deel van deze informatie is objectief, zoals uw leeftijd, waar u woont, de voordelen die u ontvangt en de belastingvoorwaarden.

Andere kenmerken zijn subjectief en kunnen voortkomen uit de beoordeling van u door de casemanager.

De SyRI is specifiek ontwikkeld en toegepast op zogenaamde probleemwijken, dat wil zeggen wijken met bovengemiddelde criminaliteit en armoede en een hoog aandeel mensen met een uitkering.

Schending van fundamentele mensenrechten

Nederlandse vrijwilligersorganisaties en individuen protesteren al jaren tegen het gebruik van SyRI. In 2020 oordeelde een Nederlandse rechtbank dat Siri fundamentele mensenrechten schendt, vooral als het om privacy gaat, en dat het gebruik van het systeem moet worden stopgezet. Het systeem wordt naar verluidt verder ontwikkeld in een meer verantwoorde variant.

Uiteindelijk moest de gemeente Rotterdam meer inzicht geven in SyRI en welke data er in het systeem werd en wordt gebruikt Een rekenmachine waarmee u het model zelf kunt testen. (Voor de geïnteresseerde lezer: het blijkt dat dit model gebaseerd is op zogenaamde beslisbomen.)

De rekenmachine geeft mij de gelegenheid om te illustreren hoe het systeem werkt voor een hypothetisch geval. Onderweg kom ik in een kleine blinde vlek terecht, waar ik naar terugkeer.

Speelt elke derde Nederlander vals?

Kortom, we geven numerieke waarden aan de kenmerken van een fictief, gemiddeld mens (hij blijkt een mens te zijn!). Dit geeft een kans op fraude van 35 procent. Dit betekent niet dat elke derde Nederlander een fraudeur is, maar door computergestuurde data wordt een groot deel van de gevallen als fraude geclassificeerd.

Met andere woorden: de dataset is op een of meer manieren scheefgetrokken. Als er op de juiste manier rekening wordt gehouden met vooroordelen, is er geen probleem. Het is niet duidelijk hoe goed de Nederlandse autoriteiten hier werk hebben verricht.

Het veranderen van het geslacht van man naar vrouw verhoogt de kans op bedrog van 35 procent naar 40 procent.

Dit weerspiegelt simpelweg het feit dat het aandeel vrouwen dat in de dataset als valsspelers wordt geclassificeerd hoger is dan dat van mannen. Het veranderen van de leeftijd van 57 (de mediaan in de dataset) naar 20 verhoogt de kans op fraude van 40 procent naar 56 procent. Als iemand geen werkervaring heeft, neemt de kans toe tot 59 procent.

Is het niet heel vreemd dat een 20-jarige geen werkervaring heeft?

Dit is mijn blinde vlek: ik verander waarden één voor één, maar echte mensen niet. Zo hebben ouderen over het algemeen meer werkervaring dan jongeren. Met andere woorden: ik heb misschien een vertekend beeld van SyRI gegeven.

Simpel is vaak het beste

Dataminimalisatie is een centraal privacyprincipe. In totaal zijn 315 kenmerken opgenomen in het SyRI-algoritme, dat volledig overbodig is.

Hier kunnen we leren van een ander controversieel algoritme: For Amerikaans COMPAS-algoritme (Revised Offender Management Specification for Alternative Sanctions) onthulde dat het algoritme slechts in twee van de 130 kenmerken uitblinkt.

De verklaring ligt in correlaties tussen kenmerken – ouderen hebben meer werkervaring dan jongeren – waardoor veel kenmerken overbodig zijn.

Een deel van de informatie in SyRI is te opdringerig of subjectief. Ik kan me niet voorstellen dat het ooit gepast is dat de Noorse autoriteiten dit soort gegevens gebruiken om het misbruik van de verzorgingsstaat aan de kaak te stellen.

Dit betekent niet dat er geen sprake is van wanpraktijken in de socialezekerheidsstelsels. Een risicogebaseerde aanpak is in principe een betere manier om fraude op te sporen.

Maar als Nederland systemen creëert zonder stoomwalsen en privacybrillen, zoals Nederland met SyRI heeft gedaan, wordt de risicogebaseerde aanpak een systeemrisico.