Mens blijven wanneer het systeem beslist

 

Waarom digitale macht begrijpelijk en corrigeerbaar moet zijn

Op een maandagavond zit Lina met haar buurvrouw Sara aan de keukentafel. Ze helpt haar met een digitale aanvraag voor inkomensondersteuning.

Sara heeft haar gegevens ingevuld. De bewijsstukken zijn toegevoegd. Alles lijkt klaar.

Dan verschijnt een melding.

Verhoogd risico. Aanvullende controle nodig.

Sara leest de woorden nog eens.

“Risico waarop?”

Lina klikt op het informatieknopje. Daar staat dat de aanvraag wordt beoordeeld met behulp van verschillende gegevens en een geautomatiseerd systeem.

Welke gegevens doorslaggevend waren, staat er niet. Ook niet wat Sara kan doen wanneer de beoordeling verkeerd is.

“Maar er zal toch iemand zijn die dit kan uitleggen?” vraagt Lina.

Sara haalt haar schouders op.

Daar begint de vraag die achter digitale grondrechten ligt: hoe bescherm je jezelf tegen een oordeel waarvan je de redenen niet kunt zien?

Een hulpmiddel met gevolgen

De volgende dag bespreekt Lina het voorval op school.

“Is een algoritme eigenlijk gewoon een ingewikkelde computer?”

Haar docent legt uit dat een algoritme bestaat uit stappen waarmee informatie wordt verwerkt. Dat kan een eenvoudige beslisregel zijn, maar ook een complex model dat patronen in gegevens herkent.

Zulke systemen kunnen nuttig zijn. Ze kunnen aanvragen ordenen, ontbrekende informatie signaleren en medewerkers helpen hun werk te doen. Goede automatisering kan wachttijden verkorten en fouten verminderen.

Maar een systeem kan ook bepalen wie extra wordt gecontroleerd, welke sollicitant wordt geselecteerd of wie een bepaalde voorziening krijgt.

Dan krijgt een technische uitkomst maatschappelijke betekenis.

Een score wordt onderdeel van de manier waarop iemand wordt behandeld.

Daarom gaat de vraag naar digitale grondrechten over de macht die met technologie wordt uitgeoefend.

Meer dan een vraag over privacy

Lina kent privacy vooral van wachtwoorden en foto's.

“Als Sara's gegevens goed beveiligd zijn, is haar privacy dan niet beschermd?”

Beveiliging is belangrijk. Ook moet duidelijk zijn waarom gegevens worden verzameld en wie ze mag gebruiken.

Maar stel dat alle gegevens correct zijn opgeslagen. Het systeem verbindt er vervolgens een onjuiste conclusie aan.

Een wisselend inkomen wordt uitgelegd als onbetrouwbaarheid. Een tijdelijk adres krijgt een betekenis die niet bij Sara's situatie past. Een ontbrekend gegeven wordt behandeld alsof zij iets verbergt.

Dan ligt het probleem ook in de interpretatie.

Sara wil weten wat er over haar is geregistreerd én waarom die informatie tot deze beoordeling heeft geleid.

Bescherming van gegevens en bescherming tegen de gevolgen van gegevensgebruik horen bij elkaar.

Je bent meer dan je profiel

Een digitaal profiel vat iemand samen.

Dat is soms handig. Een organisatie kan onmogelijk bij iedere handeling iemands hele levensgeschiedenis onderzoeken.

Maar iedere samenvatting laat iets weg.

Sara's inkomen wisselt omdat zij tijdelijk minder heeft gewerkt om voor een familielid te zorgen. Haar adres is veranderd omdat haar relatie is beëindigd. Een onvolledig document kan voortkomen uit een ingewikkeld formulier.

Het systeem ziet misschien de veranderingen. Het kent niet vanzelf de betekenis ervan.

Een voorspelling vertelt bovendien iets over een waarschijnlijkheid. Zij bewijst niet dat deze persoon fraudeert, afspraken niet zal nakomen of ongeschikt is voor werk.

Menselijke waardigheid verlangt dat organisaties ruimte houden voor de persoon achter de classificatie.

Een profiel moet kunnen worden aangevuld, tegengesproken en herzien. Mensen veranderen. Hun digitale verleden mag hun toekomst niet zonder voldoende rechtvaardiging blijven bepalen.

Er bestaan al rechten

Lina zoekt thuis verder.

Ze vindt artikel 10 van de Grondwet, over de persoonlijke levenssfeer. Ook ontdekt ze de Algemene verordening gegevensbescherming, de AVG.

Die bevat al belangrijke rechten. Mensen kunnen onder voorwaarden inzage vragen, onjuiste persoonsgegevens laten corrigeren en bezwaar maken tegen verwerking. De AVG begrenst ook bepaalde besluiten die uitsluitend op geautomatiseerde verwerking berusten en iemand juridisch of anderszins aanzienlijk raken. Daarbij bestaan uitzonderingen en beschermingsvoorwaarden.

“Dus we beginnen niet bij nul?”

Zeker niet.

Het voorstel Mens blijven in een digitale rechtsstaat bouwt op bestaande bescherming voort. Het wil de constitutionele uitgangspunten versterken en duidelijker verbinden met de feitelijke invloed van digitale systemen.

Daarbij blijft de verhouding tot Europees recht belangrijk. Nieuwe Nederlandse bepalingen moeten binnen die rechtsorde worden uitgewerkt.

De vraag is dus hoe bestaande en aanvullende bescherming samen kunnen zorgen dat mensen digitale macht daadwerkelijk kunnen begrijpen, betwisten en corrigeren.

Twee samenhangende bepalingen

Het voorstel werkt daarvoor twee grondwetsbepalingen uit.

Een herzien artikel 10 beschermt de persoonlijke levenssfeer en persoonsgegevens. Het legt duidelijker vast dat gegevens voor gerechtvaardigde doeleinden worden gebruikt, dat niet méér wordt verwerkt dan noodzakelijk en dat mensen rechten hebben op informatie en correctie.

Een nieuw artikel 10a richt zich op profilering en geautomatiseerde verwerking die rechten, belangen of maatschappelijke mogelijkheden aanmerkelijk beïnvloeden.

Daarbij horen begrijpelijke uitleg, de mogelijkheid een uitkomst te betwisten en betekenisvolle menselijke herbeoordeling. Ook bescherming tegen verboden discriminatie en toegang tot essentiële publieke diensten krijgen een plaats.

Het gaat om voorgestelde wijzigingen. Hun precieze toepassing vraagt nadere wetgeving, uitvoering en toezicht.

De Grondwet zou zo een duurzame opdracht formuleren, zonder iedere techniek afzonderlijk vast te leggen.

Wanneer een mens alleen bevestigt

Een paar dagen later krijgt Sara een medewerker aan de telefoon.

“Uw aanvraag is door een collega bekeken,” zegt hij.

“Heeft die collega ook gekeken waarom de score verhoogd is?”

Dat weet de medewerker niet.

Lina vraagt zich af wat menselijke controle dan betekent.

Stel dat een medewerker tientallen dossiers per uur moet afhandelen. Hij ziet een score, maar heeft geen toegang tot de gegevens die haar verklaren. Afwijken kost extra tijd en moet door een leidinggevende worden goedgekeurd.

Formeel is er een mens betrokken. Toch kan het systeem in de praktijk de uitkomst bepalen.

Het voorstel kijkt daarom naar de feitelijke invloed. Ook gedeeltelijk geautomatiseerde processen verdienen bescherming wanneer het model de beoordeling wezenlijk stuurt.

Menselijke tussenkomst krijgt betekenis wanneer iemand zelfstandig kan beoordelen en daadwerkelijk kan corrigeren.

Een herbeoordeling die iets kan veranderen

“Wat moet die medewerker dan kunnen?” vraagt Lina.

Hij moet de relevante gegevens kunnen bekijken, begrijpen waar het systeem onzeker is en Sara's uitleg serieus onderzoeken. Hij heeft voldoende tijd en deskundigheid nodig.

Ook moet hij bevoegd zijn van de uitkomst af te wijken.

Een gesprek waarna automatisch dezelfde melding terugkomt, biedt weinig bescherming.

Dat betekent niet dat een mens bij iedere digitale handeling vooraf toestemming moet geven. Bij beperkte, eenvoudig herstelbare gevolgen kan controle achteraf passend zijn.

Bij ingrijpende of moeilijk omkeerbare gevolgen kunnen sterkere waarborgen nodig zijn, waaronder beoordeling vooraf of tijdelijke bescherming tijdens een geschil.

De ernst van de gevolgen bepaalt mede hoeveel controle redelijkerwijs nodig is.

Uitleg waarmee je verder kunt

Sara ontvangt vervolgens een document met technische termen.

Het beschrijft welke soorten gegevens het systeem gebruikt. Waarom juist haar aanvraag een verhoogde score kreeg, blijft onduidelijk.

“Is dit uitleg?” vraagt ze.

Voor een technisch deskundige bevat het document misschien nuttige informatie. Sara kan er haar eigen beoordeling nog niet mee controleren.

Het voorstel onderscheidt daarom algemene informatie over een model van uitleg over een concrete uitkomst.

Sara moet kunnen begrijpen welke belangrijke gegevens en factoren haar beoordeling hebben beïnvloed. Alleen dan kan zij wijzen op een verkeerd gegeven, ontbrekende context of een onjuiste aanname.

Niet iedere formule hoeft openbaar te worden. De verstrekte informatie moet wel bruikbaar zijn om een uitkomst aan te vechten.

Een uitleg is pas behulpzaam wanneer iemand weet welke vraag hij vervolgens kan stellen.

Als de leverancier het niet wil vertellen

Lina ontdekt dat de organisatie het systeem bij een bedrijf heeft gekocht.

“Misschien weet de overheid zelf niet precies hoe het werkt?”

Dat kan een probleem zijn. Sommige systemen zijn ingewikkeld en organisaties kunnen afhankelijk worden van leveranciers.

Bedrijfsgeheimen en beveiliging verdienen bescherming. Volledige publieke openbaarheid is niet altijd verantwoord.

Maar de organisatie die een systeem inzet, moet verantwoordelijkheid kunnen dragen voor de gevolgen. Daarvoor zijn afspraken nodig over documentatie, onderzoek, aanpassing en medewerking aan toezicht.

Een onafhankelijke toezichthouder of rechter kan zo nodig vertrouwelijk toegang krijgen tot technische informatie. De burger heeft vooral een begrijpelijke verklaring en een bruikbare route naar herstel nodig.

Uitbesteding mag die route niet laten verdwijnen.

Neutrale gegevens kunnen ongelijk uitwerken

In de klas zegt iemand dat een computer iedereen hetzelfde behandelt.

“Een model heeft toch geen vooroordelen?”

Een systeem heeft geen menselijke bedoelingen. Toch kan het ongerechtvaardigde verschillen veroorzaken.

Dat kan bijvoorbeeld gebeuren wanneer gegevens uit het verleden bestaande achterstelling weerspiegelen. Ook ogenschijnlijk neutrale kenmerken kunnen samenhangen met herkomst, leeftijd of een beperking.

Een postcode kan nuttig zijn voor een gerechtvaardigd doel. Het gebruik ervan kan problematisch worden wanneer bewoners zonder voldoende reden als minder betrouwbaar worden behandeld.

Daarnaast kan een systeem gemiddeld goed werken en voor een bepaalde groep vaker fouten maken.

Daarom moeten organisaties ook onderzoeken wie wordt geraakt en hoe fouten zijn verdeeld.

Niet ieder verschil is verboden discriminatie. De rechtvaardiging, gevolgen en mogelijkheden om ongelijke behandeling te voorkomen moeten worden beoordeeld.

Wanneer het formulier zelf een drempel wordt

De vader van Lina probeert ondertussen een digitale publieke dienst te gebruiken.

Zijn telefoon is kapot. Hij kan de verificatie niet afronden. Het alternatieve kanaal verwijst hem naar hetzelfde inlogscherm.

Hij loopt vast voordat iemand zijn verzoek inhoudelijk heeft bekeken.

Ook dat raakt aan digitale grondrechten.

Een recht kan op papier voor iedereen bestaan, terwijl de toegang ervan afhangt van apparatuur, taalvaardigheid, een toegankelijk formulier of een werkend identificatiemiddel.

Het voorgestelde artikel 10a verlangt daadwerkelijke en gelijkwaardige toegang tot essentiële publieke diensten. Wanneer digitaal gebruik redelijkerwijs niet kan worden verlangd, moeten passende ondersteuning en een bruikbaar alternatief beschikbaar zijn.

Dat kan een telefonisch, schriftelijk, fysiek of ondersteund kanaal zijn. Welke vorm past, hangt af van de dienst.

Een alternatief moet ook in de praktijk werken. Buitensporige vertraging of extra kosten kunnen de toegang alsnog uithollen.

Ook bedrijven bepalen je mogelijkheden

Lina denkt aanvankelijk vooral aan de overheid.

Maar een werkgever kan sollicitanten rangschikken. Een financiële dienstverlener kan een risicoscore gebruiken. Een platform kan bepalen wie zichtbaar is of toegang houdt tot een belangrijk account.

Private beslissingen kunnen daarmee diep ingrijpen in arbeid, inkomen en maatschappelijke deelname.

“Dan kies je toch een ander bedrijf?” zegt een klasgenoot.

Soms kan dat. Soms zijn de alternatieven beperkt, of is iemand voor werk en communicatie van een bepaalde dienst afhankelijk.

Het voorstel geeft de wetgever daarom de opdracht bescherming tegen ingrijpende private digitale macht uit te werken.

Daarbij is onderscheid nodig. Een kleine aanbieder heeft een andere positie dan een dominant platform of een organisatie die een essentiële voorziening beheerst.

De verplichtingen moeten aansluiten bij invloed, afhankelijkheid en risico. Ook ondernemingsvrijheid, innovatie en andere grondrechten moeten worden meegewogen.

De ruimte om jezelf te ontwikkelen

Lina merkt dat digitale systemen ook bepalen wat zij op haar telefoon te zien krijgt.

Aanbevelingen kunnen haar helpen nieuwe muziek, informatie of mensen te ontdekken. Ze kunnen haar aandacht ook steeds terugleiden naar dezelfde onderwerpen.

Dat maakt de digitale omgeving tot een plek waar mensen leren, relaties aangaan en beelden van zichzelf ontwikkelen.

Een kind dat voortdurend wordt geprofileerd, groeit op binnen categorieën die het zelf nauwelijks begrijpt. Een volwassene kan zich geremd voelen wanneer iedere vergissing jarenlang blijft meetellen.

Vanuit het menswordingsperspectief vraagt vrijheid daarom om ruimte voor ontwikkeling, veranderende omstandigheden en een nieuwe beoordeling.

Niet iedere aanbeveling of beïnvloeding is ontoelaatbaar. Wel verdient ondoorzichtige sturing die afhankelijkheid of kwetsbaarheid uitbuit bijzondere aandacht.

Digitale bescherming gaat ook over de mogelijkheid om te leren en een ander mens te worden dan een oud profiel voorspelt.

Eén fout kan zich verspreiden

Uiteindelijk blijkt in Sara's dossier een oud gegeven te zijn gebruikt.

Lina denkt dat het probleem nu is opgelost.

Maar stel dat de beoordeling inmiddels door een andere afdeling is overgenomen. Of dat dezelfde fout bij meer aanvragen voorkomt.

Dan moet herstel verder reiken dan één dossier.

De oorspronkelijke informatie moet worden gecorrigeerd. Relevante ontvangers moeten zo nodig worden geïnformeerd. Eerdere uitkomsten kunnen opnieuw onderzoek vragen.

Ook moet worden bekeken of het model of de werkwijze moet veranderen.

Het voorstel verbindt individuele rechtsbescherming daarom met controles op systeemniveau, zoals audits, discriminatietests en periodieke evaluatie. Onder wettelijke voorwaarden moeten organisaties ook voor getroffen groepen kunnen opkomen.

Een individuele klacht kan zichtbaar maken dat een grotere groep bescherming nodig heeft.

Wie draagt de verantwoordelijkheid

Sara wil weten bij wie zij terechtkan.

De uitvoeringsorganisatie wijst op de leverancier. De leverancier verwijst naar de gegevensbron. De gegevensbron zegt dat een andere organisatie de beoordeling heeft gemaakt.

Zo kan een burger tussen verschillende partijen blijven rondgaan.

Een polycentrisch corrigeerbare democratie verdeelt controle over meerdere instituties. Wetgever, bestuur, toezichthouders, rechters, maatschappelijke organisaties en burgers hebben ieder een rol.

Dat werkt alleen wanneer verantwoordelijkheden herkenbaar blijven.

De organisatie die een systeem inzet, moet aanspreekbaar zijn op het gebruik en de gevolgen. Toezichthouders moeten kunnen samenwerken. Voor burgers moet duidelijk zijn waar zij uitleg, onderzoek en herstel kunnen vragen.

Meerdere controlepunten moeten de bescherming versterken. Zij mogen geen kring van doorverwijzingen worden.

De ernst van de gevolgen telt

Lina vraagt of voortaan iedere automatische aanbeveling uitgebreid moet worden onderzocht.

Een systeem dat boeken sorteert op voorkeur heeft doorgaans andere gevolgen dan een systeem dat toegang tot inkomen of zorg beïnvloedt.

Daarom bevat het voorstel een impactdrempel: de verzwaarde bescherming richt zich op verwerking die mensen aanmerkelijk beïnvloedt.

Relevant zijn onder meer ernst, duur, herstelbaarheid, afhankelijkheid en de feitelijke invloed van het systeem.

De Grondwet hoeft daarbij geen lijst met alle mogelijke technologieën te bevatten. Zij kan duurzame uitgangspunten vastleggen die ook bij nieuwe toepassingen betekenis houden.

Wetgeving en toezicht werken vervolgens uit welke verplichtingen in verschillende situaties passend zijn.

Rechten vragen om uitvoeringskracht

Sara's ervaring maakt duidelijk hoeveel er nodig is om een recht te laten werken.

Een medewerker heeft tijd en bevoegdheden nodig. Een toezichthouder technische kennis. Een organisatie moet kunnen reconstrueren hoe een uitkomst tot stand kwam.

Ook ondersteuning en alternatieve toegang kosten geld.

Die kosten moeten zichtbaar worden gemaakt en kunnen voor kleinere organisaties zwaar wegen. Gezamenlijke expertise, passende fasering en verplichtingen die aansluiten bij risico kunnen helpen.

De afweging moet ook de kosten van fouten, uitsluiting en moeizaam herstel omvatten.

Een nieuw grondrecht heeft weinig betekenis wanneer niemand het kan uitvoeren. Constitutionele bescherming vraagt daarom om wetgeving, financiering, opleiding en onafhankelijke controle.

Kun je het recht ook afdwingen

Lina herinnert zich een eerdere les over constitutionele toetsing.

“Als artikel 10a wordt ingevoerd, kan de rechter dan iedere wet eraan toetsen?”

Dat volgt niet automatisch uit het nieuwe recht. Het huidige artikel 120 verbiedt de rechter formele wetten op hun grondwettigheid te beoordelen.

Andere routes van rechtsbescherming, waaronder Europees en verdragsrecht, blijven van belang. Het voorstel plaatst digitale grondrechten daarom binnen een bredere discussie over constitutionele toetsing en rechtsherstel.

Ook bij digitale macht moet helder zijn welke rechter of toezichthouder kan ingrijpen, welke informatie beschikbaar is en wat er na een vastgestelde schending gebeurt.

Wanneer essentiële belangen worden bedreigd, kan tijdige bescherming nodig zijn. Een oordeel dat pas na onherstelbare schade effect krijgt, helpt onvoldoende.

De mens achter de uitkomst

Een paar weken later zit Lina opnieuw aan de keukentafel.

Dit keer bekijkt ze haar eigen scherm anders.

Achter iedere melding liggen keuzes. Over welke gegevens tellen. Welke aannames worden gebruikt. Hoeveel onzekerheid aanvaardbaar is. En wie een fout kan herstellen.

Die keuzes bepalen mede hoeveel ruimte mensen hebben om hun leven vorm te geven.

Sara vraagt geen garantie dat iedere aanvraag wordt toegewezen. Zij wil begrijpen waarom haar situatie zo wordt beoordeeld. Zij wil kunnen laten zien wat er ontbreekt of verkeerd is. En zij wil iemand kunnen bereiken die haar argumenten onderzoekt.

Daar ligt de inzet van digitale grondrechten.

Technologie kan mensen ondersteunen en instituties verbeteren. Daarvoor moeten de organisaties die haar gebruiken hun keuzes kunnen verantwoorden en hun uitkomsten kunnen herzien.

Een menselijke digitale rechtsstaat houdt de weg naar uitleg, tegenspraak en herstel open.

Zodat iemand die door een systeem wordt beoordeeld, als persoon gehoord kan blijven worden.

Lees hier het volledige voorstel: https://www.academia.edu/178239202/Mens_blijven_in_een_digitale_rechtsstaat?source=swp_share