Nieuwe handreiking moet discriminerende algoritmes corrigeren
Nederlandse handreiking geeft regels en randvoorwaarden aan overheidsorganisaties en bedrijven
Algoritmen worden steeds vaker ingezet om risico-gestuurd te werken en geautomatiseerde besluiten te nemen. Dat dit fout kan gaan, bleek maar al te goed uit de Nederlandse kindertoeslagaffaire, waarbij minderheden onder meer door algoritmen stelselmatig werden gediscrimineerd door de Belastingdienst. De Handreiking geeft regels en randvoorwaarden aan overheidsorganisaties en bedrijven die algoritmen en kunstmatige intelligentie willen inzetten.
De handreiking onderscheidt zes stappen voor het ontwikkelen en toepassen van algoritmen:
1. Het vaststellen van de probleemdefinitie;
2. Het verzamelen van data;
2. De dataselectie;
4. Het vaststellen van een beleid voor automatische besluitvorming;
5. Het implementeren van het beleid; en
6. Het toetsen van het beleid.
Per stap worden juridische regels uit onder meer de Algemene Verordening Gegevensbescherming, de Wet Gelijke Behandeling en het Europees Verdrag voor de Rechten van de Mens, best practices uit de praktijk en voorbeelden uit de literatuur gegeven waarmee partijen rekening moeten houden.
Partijen betrekken
De handreiking vereist onder meer dat organisaties belanghebbenden en relevante groepen in de samenleving al vanaf het begin betrekken bij de ontwikkeling van het algoritme en dat externe, onafhankelijke experts gedurende het hele proces kritisch meekijken. Ook moeten personen ten aanzien waarvan automatische besluiten worden genomen daarvan op de hoogte worden gesteld en daar bezwaar tegen kunnen aantekenen, moet het systeem worden stopgezet bij geconstateerde fouten en gebreken en moet het hele proces permanent worden gemonitord.
Mensenrechten
De Handreiking vloeit voort uit de toezegging van de Nederlandse regering dat mensenrechten als uitgangspunt zullen dienen bij de inzet van kunstmatige intelligentie en sluit aan bij de recentelijk aangenomen motie van Klaver en Ploumen over de nieuwe bestuurscultuur, waarin de Nederlandse Tweede Kamer onder meer uitsprak dat ‘er zo snel mogelijk een einde gemaakt moet worden aan racisme, in elk geval door te stoppen met het gebruik van discriminerende algoritmes’.
De handreiking is hier te vinden: https://www.tweedekamer.nl/downloads/document?id=a8537622-fb86-4bd0-b3df-01b914261fdf&title=Non-discriminatie%20by%20design.pdf
10 lessen voor algoritmes
- Betrek belanghebbenden: Belanghebbenden en groepen die te maken krijgen met automatische besluitvorming moeten worden betrokken bij de ontwikkeling van het algoritme, niet aan het eind van het proces, maar vanaf het allereerste moment. Vervolgens dienen er regelmatig evaluatiemomenten met betrokkenen te zijn tijdens het ontwikkelproces.
- Think twice: Uitvoeringsinstanties en bedrijven kiezen nu vaak standaard voor automatische besluitvorming en risico-gestuurd werken, tenzij er wezenlijk bezwaren zijn. Omdat algoritmes per definitie beslissingen nemen op basis van groepskenmerken en geen rekening houden met de specifieke omstandigheden van individuele gevallen is het discriminatiegevaar intrinsiek aan de keuze voor kunstmatige intelligentie. Daarom moet er altijd eerst worden nagegaan of de doelstellingen niet zonder algoritme kunnen worden behaald.
- Heb oog voor de context: Door middel van algoritmen wordt een proces model-gestuurd; dat is efficiënt en kan consistentie in de hand werken. De regels die het algoritme leert, volgen echter uit de data-realiteit en raken geregeld losgezongen van de echte wereld en de menselijke maat. Daarom moet er bij besluitvormingsprocessen een persoon die controleert: wat het algoritme nu doet, snijdt dat eigenlijk wel hout? Het team dat aan een AI-project werkt dient dan ook zo divers mogelijk te zijn, waarbij zowel moet worden gelet op professionele als persoonlijke achtergronden, zoals de etniciteit, geslacht, geaardheid, culturele en religieuze achtergrond en leeftijd van de teamleden.
- Check bias in de data: Algoritmen werken met data, maar de data die organisaties in het bezit hebben zijn vaak onvolledig en geven een vertekend beeld. Een algoritme dat leert van de huidige wereld zal leren dat mannen vaker worden uitgenodigd voor een sollicitatiegesprek voor een leidinggevende functie dan vrouwen; een algoritme dat wordt getraind op de database van de politie, die een overrepresentatie heeft van gegevens uit wijken met veel bewoners met een migratieachtergrond, zal concluderen dat criminaliteit zich met name in die wijken afspeelt. Daarom moet er altijd worden gecheckt of de data evenwichtig, volledig en up to date zijn.
- Stel heldere doelstelling vast: Voordat het algoritme wordt ontwikkeld moeten succescriteria worden vastgesteld. Wat is de toegestane foutmarge en hoe verschilt die van bestaande processen? Welke voordelen zou het kunstmatige intelligentie-systeem moeten hebben om de investering waard te zijn? Een jaar nadat het systeem in de praktijk is gebracht moet worden geëvalueerd of deze bechmarks zijn behaald; zo niet, dan moet het systeem in principe worden stopgezet.
- Monitor permanent: Algoritmen zijn vaak zelflerend. Dat betekent dat zij zichzelf aanpassen aan de context waarbinnen zij worden ingezet. Hoe zo’n algoritme zich ontwikkelt is echter niet van tevoren te voorspellen, vooral ook omdat die context kan veranderen. Daarom moet het systeem permanent worden gemonitord. Ook al is de automatische besluitvorming niet discriminerend op het moment dat het wordt ingezet, dan nog kan dat na verloop van een jaar of zelfs een maand anders zijn.
- Betrek externe experts: Bedrijven en overheidsorganisaties zijn vaak niet neutraal ten aanzien van hun eigen systemen. Er zijn kosten voor gemaakt, er is tijd in geïnvesteerd, er is prestige mee gemoeid. Daarom moet de evaluatie van het systeem niet alleen in handen komen van de organisatie zelf, maar dienen externe experts te worden betrokken. Deze groep van externe experts moeten kennis hebben van het domein waarbinnen het algoritme wordt ingezet, van de vigerende juridische regels en de geldende technische standaarden.
- Controleer op indirecte discriminatie: De controle op algoritmes moet niet alleen gaan om de vraag of het systeem expliciet besluiten neemt op basis van discriminerende gronden zoals ras, geaardheid, levensovertuiging of leeftijd. Ook al houden automatische besluitvormingssystemen niet direct rekening met deze factoren, dan kunnen zij dat indirect doen. Als een predictive policing systeem bijvoorbeeld postcodegebieden gebruikt dan kan dat leiden tot indirecte discriminatie, omdat het de politie kan adviseren om veel te surveilleren in de Bijlmer of de Schilderswijk. Het risico op zichzelf vervullende voorspellingen is hier groot.
- Check legitimiteit: Niet al het onderscheid is verboden, zelfs directe of indirecte discriminatie kan in voorkomende gevallen geoorloofd zijn. Een automatisch besluitvormingssysteem dat een castingbureau helpt bij het selecteren van sollicitatiebrieven mag bijvoorbeeld discrimineren op basis van geslacht als er wordt gezocht naar een vrouwelijke acteur. Een postcodegebied of andere factoren die mogelijk kunnen leiden tot indirecte discriminatie zijn niet in alle gevallen verboden, dat hangt af van de context. Daarom moet er altijd worden gecontroleerd, niet alleen of het systeem onderscheid maakt, maar ook hoe, waarom en of daar goede redenen voor zijn.
- Documenteer alles: Documenteer alle beslissingen ten aanzien van de dataverzameling, selectie van de data, de ontwikkeling van het algoritme en de aanpassingen die daaraan worden gedaan. Documentatie moet zowel begrijpelijk zijn voor burgers die een beroep doen op hun rechten, voor de externe experts die een onafhankelijk audit doen en voor toezichthouders als de Autoriteit Persoonsgegevens die het systeem wil controleren.
Meer info
Bram Visser, bram.visser@vub.be
Documenten:
De handreiking AI-systeemprincipes voor non-discriminatie,
De korte versie van de handreiking.
De one-pager
Contacteer ons
