Contents
Mijn collega Abigail Wen interviewt enkele van de grootste geesten op het gebied van kunstmatige intelligentie (AI) met haar nieuwe podcast-Intel op AI. Van Ivy-league professoren tot Fortune 50 executives, ik ben aangenaam verrast om te horen hoeveel experts in het veld zich zorgen maken over het potentieel van AI om de samenleving op een negatieve manier te beïnvloeden.
Aflevering 7 behandelt dit probleem rechtstreeks met gast Yeshimabeit (Yeshi) Milner, oprichter van Data for Black Lives. In de aflevering bespreken Yeshi en Abigail waarom Data for Black Lives, een gemeenschap van meer dan 4.000 professionals, werkt aan het doorbreken van de silo's tussen wetenschappers en activisten.
“Modellen zijn niet neutraal ; geen enkele data is neutraal.”
-Yeshi Milner
Een geschiedenis van ongelijkheid
In een vorige aflevering van de podcast sprak Bernhardt Trout van MIT over enkele van de ethische dilemma's waar AI ons naar toe leidt, en dat hoewel veel van deze vragen niet nieuw zijn voor de mensheid, vooruitgang in zaken als autonoom rijden morele dilemma's dwingt tot de voorhoede. Hoewel Bernhardt erkent dat de technologieën zelf die worden ontwikkeld belangrijk zijn om te overwegen, zegt hij: “Maar misschien is een belangrijker probleem hoe goed we omgaan met die technologie.”
Yeshi's werk met Data for Black Lives hanteert een vergelijkbare benadering en streeft ernaar ervoor te zorgen dat mensen die betrokken zijn bij het ontwikkelen en implementeren van algoritmen die een grote invloed zullen hebben op levens, een afspiegeling zijn van de gemeenschappen die het meest getroffen zullen worden. Yeshi vertelt bijvoorbeeld over de geschiedenis van het eigenwoningbezit in Amerika en hoe schijnbaar goedbedoelde technologie de verschillen in ongelijkheid heeft vergroot.
Tijdens de New Deal van de jaren dertig werd de Home Owners' Loan Corporation opgericht om bijna een op de vijf particuliere hypotheken in stedelijke gebieden te herfinancieren om de verwoesting van de Grote Depressie te compenseren. Een deel van dit werk omvatte het maken van kaarten voor “Residential Security” om de belangrijkste hypotheekrisico's in bepaalde gebieden te beoordelen. Buurten die als een hoog risico werden beschouwd, kregen vaak geen leningen van financiële instellingen om huisvesting en andere economische kansen te verbeteren, een proces dat bekend werd als 'redlining'. Kort daarna, in de jaren vijftig, richtten ingenieur Bill Fair en wiskundige Earl Isaac het data-analysebedrijf FICO op terwijl ze werkten bij het Stanford Research Institute, en pionierden met de praktijk van kredietscores die de standaard is geworden voor Amerikaanse investeringen in onderhandse leningen. Maar door gebruik te maken van gegevens die doordrenkt zijn van uitsluitingspraktijken, kunnen dergelijke kredietscores de economische ongelijkheid vergroten.
Resultaat versus intentie
Op het eerste gezicht is een risicobeoordelingsmodel gunstig voor kredietverstrekkers en kredietnemers – een nauwkeurige beoordeling van het vermogen om terug te betalen en schadelijke overkreditering te voorkomen, zoals gebeurde in de aanloop naar de financiële crisis van 2008, of onderkrediet, waardoor de toegang tot de krediet zo belangrijk voor huisaankopen en bedrijfsuitbreiding. Het verminderen van de discretie van de filiaalmanager die deze beslissingen nam, zou vooroordelen tegen leners moeten voorkomen, maar zoals Yeshi opmerkt, wanneer deze modellen gebaseerd zijn op diepere historische ongelijkheden, kunnen ze de zaken nog erger maken door hele generaties uit te sluiten van economische kansen die worden geboden aan anderen; iets wat Mehrsa Baradaran van de Universiteit van Californië, Irvine School of Law heeft bestudeerd in de onderzoekspaper “Jim Crow Credit.”
Kredietscores hebben een gecompliceerde interactie met raciale vooroordelen in de VS, waar ze vaak worden gebruikt als screeningsinstrument door wervingsmanagers, ondanks zwak bewijs van effectiviteit voor dit doel. Er is duidelijk potentieel voor een vicieuze cirkel – werkloosheid leidt tot schulden, wat leidt tot verdere werkloosheid – en daarom hebben verschillende staten de praktijk verboden. Een paper van onderzoekers van Harvard en de Boston Federal Reserve toonde echter aan dat, hoewel deze goedbedoelde maatregel de werkloosheid in het algemeen verminderde, het de zwarte werkloosheid verhoogde. Een hypothese voor het mechanisme is dat zonder het 'objectieve' signaal van de kredietscore, sommige personeelsmanagers zwaarder leunden op hun eigen intuïties en vooroordelen.
Onderliggende problemen verergeren
Tegenwoordig lanceren een groot aantal financiële technologiebedrijven (fintech) nieuwe manieren om krediet te verstrekken aan mensen over de hele wereld, met de belofte om verouderde risicomodellen te veranderen. Onderzoek van Harvard suggereert echter dat leners die deze nieuwere diensten gebruiken, meer kans lopen om in gebreke te blijven. Omdat non-profitorganisaties zoals de Wereldbank extreme armoede proberen te beëindigen met behulp van AI-projecten, moeten de gebruikte tools zorgvuldig worden overwogen, omdat AI kan fungeren als een versterker van menselijke vooroordelen.
Sandra Rivera van Intel en Ben Taylor van DataRobot spraken tijdens een eerdere podcast-aflevering over de problemen van vooringenomenheid bij aanwerving en werkgelegenheid, en Yeshi herhaalt hun observaties door te benadrukken hoe vooringenomenheid helaas kan worden ingebouwd in te veel technologieën, zoals gezichtsherkenning, zoals bestudeerd door MIT-onderzoeker Joy Buolamwini of in medische race-aangepaste algoritmen zoals Dr. Darshali Vyas schreef in The New England Journal of Medicine.
The Dangerous of Misuse and Wantrouwen
Hoe AI wordt gebruikt in de gezondheidszorg is een kritische vraag omdat het een van de meest veelbelovende toepassingsgebieden is, maar ook rijp voor de meeste potentiële uitbuiting, misbruik of wantrouwen. Yeshi merkte op dat de toenemende hoge COVID-19-percentages in Miami ervoor zorgden dat de stad eerder dit jaar een willekeurig screeningproces startte met de University of Miami Miller School of Medicine, maar het programma kreeg snel weerklank over de vrees dat de uitkomstbias zou kunnen leiden tot meer agressieve beperkingen tussen bepaalde gemeenschappen. Soortgelijke angsten werden aangewakkerd in Minnesota toen een staatsfunctionaris de term 'contacttracering' gebruikte in verwijzing naar het onderzoeken van demonstranten die waren gearresteerd tijdens demonstraties tegen politiegeweld.
Als buitenlander die een hele oceaan ver van de VS woont, heb ik naar deze aflevering geluisterd zoals velen van jullie zullen – als een buitenstaander van een samenleving met heel verschillende breuklijnen. De thema's van vertrouwen van het publiek als sleutel tot de adoptie van nieuwe technologie zijn echter universeel. Zo zijn in heel Europa veel mobiele netwerktorens aangevallen vanwege ongefundeerde 5G-angsten, en zijn ziekten zoals mazelen gedeeltelijk teruggekeerd vanwege ongegronde angst voor vaccinatie. Vertrouwen is ook een belangrijke basis van openbaar beleid: tijdens mijn tijd bij Intel ben ik gedetacheerd geweest bij NCMEC, waar ik heb gewerkt aan geautomatiseerde systemen die het delen van beelden van seksueel misbruik van kinderen detecteren en rapporteren aan nationale autoriteiten – systemen die, bij gebrek aan een last-minute afwijking, zal in de EU worden uitgeschakeld als nieuwe wetten van kracht worden om de privacybescherming voor gebruikers van instant messaging-systemen te versterken.
Goed gedaan, analyse en AI kunnen ons tools geven die effectiever zijn , transparanter en eerlijker dan die welke ze vervangen. Maar deze podcast toont de mate van zorg die nodig is, niet alleen om het goed te krijgen, maar ook om gezien te worden om het goed te krijgen. Zonder het vertrouwen van het publiek zijn technische oplossingen, hoe waardevol ook, gedoemd te mislukken.
De hele podcastaflevering met Yeshi en Abigail is het beluisteren waard, net als de andere afleveringen in de serie. Luister naar meer afleveringen op: https://www.intel.com/content/www/us/en/artificial-intelligence/podcast.html
Ga voor meer informatie over Intel's werk op het gebied van AI naar: https ://intel.com/ai
Edward Dixon
Gegevenswetenschapper, Intel
