VUB’er breekt unfaire AI-systemen open

06/10/2023

Artificiële Intelligente (AI)-systemen worden steeds meer gebruikt in verschillende aspecten van onze maatschappij. We weten echter niet altijd hoe de algoritmes werken en of de keuzes die ze maken wel fair zijn. Om dat probleem aan te pakken voerde VUB-AI-specialist dr. Carmen Mazijn onderzoek met als centrale vraag: “Hoe kunnen we AI-systemen beter begrijpen zodat ze geen slechte impact hebben op onze maatschappij door oneerlijke beslissingen te maken en te discrimineren?”

Mazijn voerde in het kader van haar PhD interdisciplinair onderzoek, verbonden aan het Data Analytics Laboratory aan de faculteit Sociale Wetenschappen & Solvay Business School en de onderzoeksgroep Toegepaste Fysica aan de faculteit Wetenschappen en Bio-ingenieurswetenschappen. Ze ging aan de slag met beslissingsalgoritmes: AI-systemen die beslissingen van mensen ondersteunen of zelfs mensen volledig vervangen in het beslissingsproces. Bijvoorbeeld kan in een selectieprocedure een AI-model schijnbaar gendergelijke keuzes maken, maar als het algoritme onder de loep wordt genomen kunnen die keuzes helemaal anders gemotiveerd zijn voor mannen en vrouwen.

“Het algoritme kan soms schijnbaar fair beslissen, maar daarom niet altijd om juiste redenen”, zegt Mazijn. “Om zeker te weten of een AI-systeem een bepaalde bias heeft of wel degelijk maatschappelijk aanvaardbare keuzes maakt, moet je het systeem en de algoritmes kraken.”

Mazijn ontwikkelde tijdens haar PhD een detectietechniek, genaamd LUCID, om die AI-algoritmes open te breken en te onderzoeken of het systeem een aanvaardbare logica gebruikt. Het laat toe om te testen of het systeem ook daadwerkelijk in de echte wereld kan worden gebruikt. Tijdens het onderzoek viel bovendien op dat AI-systemen ook makkelijk met mekaar interageren en door bias in één of meerdere van die systemen problematische feedback loops kunnen ontstaan.

“Een politiedepartement kan AI gebruiken om te bepalen in welke straten meer patrouilles moeten worden ingezet”, geeft Mazijn als voorbeeld. “Door meer patrouilles in te zetten, worden bijgevolg ook meer inbreuken vastgesteld. Wanneer die gegevens terug het AI-systeem worden ingevoerd, wordt een al dan niet aanwezige bias versterkt en krijg je een selffulfilling prophecy.”

De kernboodschap luidt dat er intelligent moet worden omgaan met AI-systemen en ook de langetermijneffecten moeten worden overwegen. Om de resultaten van het onderzoek toegankelijk te maken stippelde Mazijn ook beleidsadviezen uit om te duiden hoe de technische en sociale inzichten van haar PhD kunnen worden toegepast

Het proefschrift verscheen op 7 september 2023 onder de titel: “Black Box Revelation: Interdisciplinary Perspectives on Bias in AI” en werd begeleid door Prof. Dr. Vincent Ginis en Prof. Dr. Jan Danckaert.