Tegen 2030 zal de vraag niet zijn 'Heb je geld?'. Het zal zijn 'Ben je goedgekeurd door de AI?'

Ik heb jarenlang gekeken hoe mensen omgaan met geld. Het heeft me echt aan het schrikken gemaakt om de stille machinerie te zien die nu bepaalt wie mag deelnemen aan het economische leven.

Een paar maanden geleden werd een collega van mij – iemand die ik al meer dan tien jaar ken, iemand met een stabiel inkomen, geen schulden en een spaargewoonte waar de meeste financieel adviseurs trots op zouden zijn – geweigerd voor een kredietlijn. Er werd geen uitleg gegeven. Er werd geen brief gestuurd. Alleen een scherm waarop stond dat de aanvraag op dat moment niet verwerkt kon worden.

Hij belde de kredietverstrekker. Ze vertelden hem dat de beslissing door een machine was genomen. Hij vroeg wat de aanleiding was. Ze zeiden dat ze die informatie niet konden delen. Hij vroeg of hij kon spreken met iemand die het handmatig kon beoordelen, en er viel een stilte, gevolgd door een ingestudeerde verontschuldiging.

Dat gesprek is me bijgebleven. Niet omdat de uitkomst verschrikkelijk was. Hij maakt het goed. Had het krediet niet dringend nodig. Maar vanwege wat het onthulde over de wereld waarin we al leven. Een machine had naar hem gekeken. Iets besloten, en er was geen mens meer in de keten die hem kon vertellen wat het had gezien.

Ik denk vaak aan dat gesprek als ik nadenk over hoe 2030 eruit zal zien. Ik denk dat de vraag die de meeste mensen niet luid genoeg stellen deze is: wanneer AI de poortwachter van financiële toegang wordt, wat geven we dan precies uit handen?

Het Systeem Dat de Kredietbeheerder Verving

Ik ben opgegroeid terwijl ik mijn vader zag onderhandelen met een bankmanager. Het was geen proces. De manager stelde vragen, trok conclusies en het geheel rook naar vooroordelen die niemand hardop benoemde. Het systeem was gebrekkig en ik ben er niet nostalgisch naar.

Het had één ding dat de huidige koers stilletjes elimineert: een mens die bevraagd kon worden, die verantwoordelijkheid droeg en die in dezelfde ruimte aanwezig was als de gevolgen van zijn beslissing.

Gedurende het grootste deel van de geschiedenis werd kredietwaardigheid beoordeeld aan de hand van een kleine reeks zaken zoals inkomen, werk, bestaande schulden en terugbetalingsgeschiedenis. Kredietbureaus zetten die dingen om in scores. De scores waren grof en vaak oneerlijk. Ze waren in elk geval makkelijk te begrijpen. Je kon begrijpen, in concrete termen, wat ze maten. Je kon een fout betwisten. Je kon het cijfer in de loop van de tijd veranderen.

Wat ik de afgelopen jaren heb zien gebeuren, is een fundamentele verschuiving weg van die eenvoud. Machine learning-modellen verwerken nu duizenden signalen tegelijkertijd om financieel risico te beoordelen. Niet alleen je betalingsgeschiedenis. Hoe je typt op een formulier. Hoe lang je cursor zweeft voordat je indient. Welke applicaties op je telefoon zijn geïnstalleerd. Of het ritme van je leven overeenkomt met het ritme van iemand die het model heeft leren vertrouwen.

Deze signalen lijken bijna belachelijk als je ze afzonderlijk benoemt. Samen produceren ze beslissingen die bepalen of iemand geld kan lenen, een appartement kan huren, verzekerd kan worden of een baan kan krijgen. De mensen die deze beslissingen ontvangen, hebben vaak geen idee welk gewicht een individueel signaal droeg.

De Identiteit Die Je Onbewust Aan het Opbouwen Was

Dit is het deel waar ik het echt moeilijk mee heb: de financiële identiteit die door deze systemen wordt gelezen, is niet de identiteit die je bewust hebt opgebouwd. Het is de identiteit die je door de jaren heen hebt gelekt via digitaal gedrag.

Je hebt niet besloten dat de apps op je telefoon iets zouden zeggen over je kredietwaardigheid. Je wist niet dat het tijdstip waarop je formulieren indient werd geregistreerd en gecorreleerd met terugbetalingspatronen. Je hebt geen overeenkomst ondertekend waarin staat dat de sociale verbindingen tussen jou en je contacten zouden worden gebruikt om je risicoprofiel te beoordelen.

Dat is de architectuur die stukje bij beetje wordt opgebouwd bij fintech-bedrijven, kredietbureaus en verzekeringsplatforms over de hele wereld. De identiteit die het systeem over jou afleidt, wordt opgebouwd uit een portret waarvoor je poseerde zonder het te beseffen.

Dit creëert een kloof waar ik vaak aan denk. Er is de persoon die jij jezelf kent: iemand die voorzichtig is met geld, die context heeft voor de ongewone dingen in zijn financiële geschiedenis, die redenen heeft voor keuzes die een algoritme mogelijk als afwijkend zou beschouwen. Dan is er de statistische schaduw van jou die een AI-model ziet. Die twee dingen zijn niet dezelfde persoon. Steeds vaker is het de schaduw, niet de persoon, die de toegang bepaalt.

Ik heb gesproken met mensen die werden geweigerd voor leningen na verhuizing naar een stad – niet omdat hun financieel gedrag was veranderd, maar omdat hun nieuwe adres in de trainingsdata correleerde met hogere wanbetalingspercentages. Ik heb gesproken met freelancers die werden bestraft – niet vanwege de manier waarop ze geld beheerden, maar vanwege het feit dat variabele inkomenspatronen, voor een model dat is getraind op werknemers in loondienst, eruitzien als instabiliteit. Ik heb gesproken met volwassenen die werden gemarkeerd – niet vanwege iets wat ze hadden gedaan, maar vanwege de dunheid van hun digitaal spoor in een wereld die die dunheid steeds vaker als verdacht beschouwt.

Wat Er Wordt Gebouwd Als Efficiëntie het Doel Wordt

Ik wil hier eerlijk zijn, omdat ik denk dat het gesprek rondom AI en financiële toegang vaak verzandt in een soort technologievrees die niemand goed dient. De uitbreiding van AI-gestuurde kredietbeoordeling heeft echte mensen voordelen gebracht. Fintech-kredietverstrekkers die gedragsdata gebruiken, hebben krediet verstrekt aan miljoenen mensen zonder formele financiële geschiedenis, die volledig onzichtbaar waren voor traditionele banksystemen. Dat is belangrijk. Dit zijn levens die veranderden omdat een systeem iets kon zien wat een bankfiliaal niet kon.

Dit is de spanning waar ik steeds op terugkom: efficiënt zijn en eerlijk zijn zijn niet hetzelfde doel, en onophoudelijk optimaliseren voor het ene levert het andere niet automatisch op.

Een model kan uiterst nauwkeurig zijn in het voorspellen van wanbetaling binnen een populatie, terwijl het tegelijkertijd structureel oneerlijk is voor individuen binnen subgroepen die de trainingsdata niet adequaat vertegenwoordigde. Een systeem kan deuren openen voor sommige groepen terwijl het ze stilletjes sluit voor anderen. Dit zijn geen tegenstrijdigheden die zichzelf oplossen door engineering. Ze zijn het resultaat van keuzes – vaak impliciet – over waarvoor het model optimaliseert en wiens ervaringen de trainingsdata weerspiegelt.

De mensen over wie ik me het meest zorgen maak in deze overgang zijn degenen die het moeilijkst te lezen zijn voor deze systemen. Recente immigranten met digitale geschiedenissen. Oudere volwassenen die hun leven opbouwden voordat het digitale spoor alles was. Mensen in geografische gebieden of gemeenschappen die ondervertegenwoordigd zijn in de datasets waarmee de modellen zijn getraind. Mensen die om legitieme redenen gedragspatronen hebben die afwijkend lijken voor een systeem dat is gebouwd op andere populaties.

Voor deze mensen lopen AI-gestuurde toegangsbeslissingen het risico te functioneren als een muur in plaats van een deur. Niet omdat ze in enige menselijke zin een risico vormen. Maar omdat het systeem hen niet met zekerheid kan classificeren, en systemen die niet met zekerheid kunnen classificeren, de neiging hebben om standaard uit te sluiten.

Het Decennium Waarin We Ons Werkelijk Bevinden

Wat ik denk dat ondergewaardeerd wordt aan dit moment, is de snelheid waarmee deze systemen fundamenteel worden. Dit is geen technologie die in proefprogramma's wordt getest. Het is al ingebed in kredietverlening, verzekeringen, huurderscreening en arbeidsbeoordelingen in delen van de wereld. De regels die het besturen, lopen op sommige plaatsen ver achter op de realiteit van hoe het functioneert.

Europa heeft stappen gezet. De regels daar leggen transparantie- en uitlegbaarheidsvereisten op voor geautomatiseerde besluitvorming. Die vereisten zijn niet perfect. Ze vestigen een principe: dat een persoon het recht heeft om in begrijpelijke termen te begrijpen waarom een geautomatiseerd systeem een beslissing heeft genomen die zijn leven heeft beïnvloed.

Dat principe bestaat niet consistent elders. In veel markten opereert de AI die jouw kredietwaardigheid bepaalt zonder enige verplichting om zichzelf aan jou te verklaren. Je kunt worden geweigerd, zonder beroepsmogelijkheid, zonder uitleg en zonder weg om te begrijpen wat het systeem zag dat tot die conclusie leidde.

Ik geloof dat dit een van de bepalende spanningen van het komende decennium zal worden. Niet de dramatische scenario's die het AI-debat domineren, zoals wapens of ontwrichting op science-fiction-schaal. De stillere, directe spanning van wie mag deelnemen aan het economische leven en op welke voorwaarden, naarmate de systemen die die deelname besturen sneller, ondoorzichtiger en belangrijker worden.

Wat Vertrouwen Werkelijk Vereist

Ik heb tijd doorgebracht in ruimtes waar financiële beslissingen worden genomen. Het punt waar ik steeds op terugkom terwijl ik deze transformatie zie ontvouwen, is dat vertrouwen geen score is. Het is iets ingewikkelds en menselijker dan dat.

Vertrouwen omvat context. Het omvat het vermogen om een verhaal te horen en te begrijpen waarom een cijfer eruitziet zoals het doet. Het omvat oordeelsvermogen dat verder gaat dan patroonherkenning. De geavanceerde AI-systemen van vandaag zijn werkelijk indrukwekkend in het patroonherkennende gedeelte. Ze zijn niet in staat tot de rest.

Het risico dat ik zie in de wereld die we aan het bouwen zijn, is niet dat machines beslissingen zullen nemen. Instellingen hebben altijd hulpmiddelen gebruikt om de omvang van hun beslissingen te beheren. Het risico is dat we het vertrouwen van de machine zullen gaan verwarren met de volledigheid van het oordeel. Dat we zullen stoppen met het stellen van vragen omdat het model een getal heeft teruggegeven en het getal definitief aanvoelt.

Of je door de AI wordt goedgekeurd, zal de komende jaren steeds meer van belang zijn. De vraag die net zo belangrijk zou moeten zijn – en waaraan ik denk elke keer als ik me dat gesprek met mijn collega herinner – is of de AI het vertrouwen dat we erin stellen, verdient.

Dat is geen vraag die de AI kan beantwoorden. Het is een vraag die we moeten blijven stellen, en met voldoende volharding om ervoor te zorgen dat de mensen die deze systemen bouwen en inzetten, luisteren.

Als dit stuk iets heeft gezegd wat jij al voelde maar niet echt kon uitleggen, ben ik blij dat het voor jou duidelijk was. Volg deze publicatie voor verhalen over technologie, financiën en hoe mensen daardoor worden beïnvloed. Als je het verhaal leuk vond, laat het anderen dan weten zodat zij het ook kunnen vinden. Je kunt dit doen door te applaudisseren. Laat een reactie achter. Vertel ons wat je denkt, ook als je het niet eens bent met het verhaal of als het er voor jou anders uitziet. Deze publicatie is gemaakt door mensen die schrijven over dingen die hen na aan het hart liggen. Ze brengen hun gedachten en ervaringen mee in de verhalen. Als je een verhaal te vertellen hebt, neem dan contact met ons op. We kunnen er samen aan werken. *

By 2030 the Question Won't Be 'Do You Have Money?'. It Will Be 'Are You Approved by the AI?' werd oorspronkelijk gepubliceerd in Coinmonks op Medium, waar mensen het gesprek voortzetten door dit verhaal te markeren en erop te reageren.