Tessa Steenkamp: ‘Maak technologie zichtbaar, poreus en leuk’

Tessa Steenkamp is ontwerper en oprichter van Bits of Space. Ze werkt aan de relatie tussen mensen, plekken en technologie. De afgelopen drie jaar onderzocht ze samen met het lectoraat Civic Interaction Design aan de Hogeschool van Amsterdam hoe bewoners kunnen meepraten en meebeslissen over AI in de stad. Het resultaat is Bewoners in de loop: samen beslissen over AI in de stad: een handboek met vijftig ideeën, experimenten en methoden voor publieke technologie.

De titel verwijst naar human in the loop: het principe dat een mens moet meekijken wanneer een geautomatiseerd systeem beslissingen neemt. Eén toezichthoudende professional is niet genoeg, is de conclusie van het driejarig durende onderzoek. Als AI invloed heeft op straten, buurten en publieke diensten, moeten bewoners eveneens een plaats in die loop krijgen.

Voor Wat Blijft sprak ik met haar over parkeerscanauto's, de verkeerde dingen efficiënt maken, poreuze technologie, de mens als verlengstuk van de machine en waarom plezier een serieuze ontwerpkeuze is.

Wat betekent ‘bewoners in de loop’?

“De term komt van human in the loop. Die wordt gebruikt om te zeggen dat bij automatische besluitvorming altijd nog een mens moet meekijken.

Wij bepleiten dat er niet alleen één expert moet kijken, maar dat het een democratisch proces moet zijn. De maatschappij moet kunnen meekijken als het gaat over AI in de stad.

Er wordt steeds meer AI toegepast in de publieke ruimte. De parkeerscanauto is het bekendste voorbeeld, die maakt gebruik van een algoritme om auto's, kentekens en parkeergedrag te herkennen. Met dit soort systemen besturen we onze steden en daar moeten we ons allemaal tegenaan kunnen bemoeien.”

AI ontwikkelt zich razendsnel. Kun je als bewoner of gemeente nog wel op tijd meepraten?

“De technologie gaat snel, maar toepassingen in de stad gaan door inkoopprocessen en worden door gemeenten uitgerold. Gelukkig zijn daar controlerende processen voor, ze veranderen niet elke minuut.

Toch hebben mensen het idee dat technologie ons overkomt. Dan klinkt het alsof het een natuurverschijnsel is. Dat is het niet. We maken het zelf als mensheid en kunnen er dus ook samen richting aan geven. Die controlerende processen, die al bestaan, moeten daarom democratischer worden.

Voor veranderingen in de fysieke ruimte bestaan allerlei participatieprocessen. Niet alleen om draagvlak te creëren, maar ook om te zorgen dat een plan wordt getoetst aan publieke waarden (zoals rechtvaardigheid en eerlijkheid), en dat daarin ook marginalere perspectieven worden meegenomen.

Voor digitale veranderingen in de publieke ruimte hebben we zulke methoden eigenlijk nog niet. Terwijl technologieprojecten daar wel steeds meer impact hebben.”

Participatie is nodig en dat is niet altijd makkelijk. Waarom is participatie rond digitale technologie anders?

“Je ziet alleen sommige fysieke objecten, maar niet het hele systeem. Je ziet bijvoorbeeld wel een camera hangen, maar weet niet wat voor beeldherkenningsalgoritme daar op draait, wat de software herkent, waar de data heen gaat en wie er mee kijkt.

Bij een bouwplaats is een participatieproces bijna natuurlijk. Het is een fysieke, zichtbare plek in de stad, waar mensen bijvoorbeeld jarenlang omheen moeten lopen. Dan is het logisch om een informatiebord neer te zetten. Of om in een maquette te laten zien wat er zal komen te staan.

Een camera hangt misschien op vijf meter hoog. Daar kun je gemakkelijk aan voorbijlopen. Je moet als overheid extra moeite doen om uit te leggen wat er gebeurt, en het bijna fysiek maken. Dat voelt soms tegennatuurlijk.”

Hoe maak je een onzichtbaar algoritme fysiek?

"Waarom zou je van een digitaal systeem geen maquette kunnen maken? We maakten een fysiek model van het algoritme van de parkeerscanauto. Het was een groot bord waarover je een magnetische scanauto van situatie naar situatie kon bewegen. Aan de ene kant van de weg zag je waar de auto foto's van maakte, en aan de andere kant lieten we zien waar de data naartoe werd verstuurd.

Kentekens worden niet alleen voor parkeercontrole gebruikt. In Amsterdam zochten scanauto's ook naar gestolen auto's en in Rotterdam werden scanauto's een tijdje gebruikt voor het monitoren van 'social distancing'. Totdat dat verboden werd door een rechter.

Er rijdt ook een scanauto om reclame-uitingen aan gevels te registreren, zodat daarvoor een vooringevulde aangifte kan worden verstuurd.

Aan het object zelf zie je al die systemen niet. Je moet dus vormgeven wat onzichtbaar is, maar waarover wel een gesprek nodig is. De maquette leverde interessante gesprekken op over proportionaliteit, over bias en over marges voor uitzonderingen. Waar zetten we al die beschikbare efficiëntie eigenlijk voor in? Dat zijn belangrijke maatschappelijke gesprekken."

”

Jullie hebben uitgebreid geëxperimenteerd met een scanfiets in Amsterdam. Wat was dat?

“De gemeente zocht een multipurpose scan vehicle. De parkeerscanauto scant kentekens. Deze fiets moest een rijdende telmachine worden die opdrachten van verschillende afdelingen kon krijgen. Hij kon bijvoorbeeld zoeken naar kapotte lantaarnpalen, chemische toiletten op kwetsbare kades en bouwcontainers met of zonder vergunning.

De gemeente besloot om bij de ontwikkeling van de technologie, dus in de maak-fase, samen te werken met een bewonerspanel. Dat was interessant: bij technologie worden vooraf vaak allerlei ethische checklists opgesteld, maar ook in de vertaling naar hardware en software worden nog allerlei keuzes gemaakt.

De aanbieder van de technologie moest samenwerken met het bewonerspanel. Wij kregen als onderzoeksteam de vrijheid om een jaar mee te kijken met dit proces, en af en toe konden we ook een experiment voorstellen of uitvoeren."

Wat leerden jullie daarvan?

"We zagen bijvoorbeeld dat in de eerste paar maanden de focus echt op de techniek lag: de prioriteiten en keuzes die het algoritme maakte. Maar dat is niet wat mensen zien, als die fiets straks buiten rijdt.

Daarom zijn we gaan testen met het ontwerp van de fiets zelf. We werkten drie verschillende scenario's uit en nodigden in drie straten mensen uit om een half uur buiten op de stoep te staan. De projectleider reed in drie verschillende outfits op de scanfiets, met verschillende borden en stickers, door die straten.

Daarna vroegen we bewoners: wat denk je dat je zag, van wie is het, wat doet het en waar is het goed voor?

De belangrijkste uitkomst was eenvoudig: de electrische scanfiets reed te hard om met tekst op het frame te kunnen communiceren. Je kunt hiervoor eigenlijk alleen herkenbare kleuren of duidelijk herkenbare logo's gebruiken. We konden dus vooral testen: gebruiken we kleuren van handhaving, of van de gemeente? Wat past het best bij het doel van de fiets?

Maar een fiets moet ook bij een stoplicht stilstaan. Daar spraken mensen de bestuurder ineens aan: wat is dit, waarom staat er een camera op je bagagedrager? Dat bleek het goede moment om uitleg te geven en vragen mogelijk te maken. Je kunt informatie op de rug van de bestuurder zetten, want die zien mensen bij het stoplicht. De bestuurder kan kaartjes meenemen met een contactpunt. Je creëert zo een opening voor gesprek.”

Op welk moment moeten bewoners worden betrokken?

“Software wordt continu ontwikkeld en bijgewerkt. Anders dan een gebouw dat misschien eens in de dertig jaar verandert, is het dus belangrijk om vaker te toetsen of het product nog past bij wat er in de samenleving speelt. De ontwikkeling van een technologie is geen lineair proces, maar een continue, evaluerende cirkel. Wij verdelen die cirkel in drie fasen: definiëren, maken en evalueren.

Definiëren gaat over waarom je het systeem wilt, waarvoor je het inzet en onder welke voorwaarden. Maken gaat over hoe de technologie werkt en of ze nog bij die voorwaarden past. Evalueren gaat over wat er in de praktijk gebeurt: waar lopen mensen tegenaan, waar loopt het systeem vast en welke uitzonderingen vallen buiten de boot?

Met die inzichten ga je opnieuw naar de definitiefase. Daarom is participatie bij een technologie niet alleen een moment vooraf, maar een voortdurend proces. Dat betekent niet dat je continue bijeenkomsten moet organiseren, maar wel dat de technologie zelf ook ingang moet bieden voor vragen of feedback.”

Kunnen bewoners wel goed oordelen over ingewikkelde AI?

“Ja, maar dat vereist iets van de gespreksleider. Vaak is er een ontwerper nodig om de techniek te vertalen naar iets tastbaars.

Je moet bewoners niet behandelen als als experts op het gebied van software of AI. Bewoners hebben expertise in hoe het is om zo'n technologie te gebruiken. Vaak weten ze bij publieke AI systemen niet eens dat zo'n systeem er achter zit, maar weten ze wel heel goed waar ze tegenaan lopen. Daar moet je hen op bevragen.

Zij hebben expertise in het gebruik van iets. Soms weten ze niet eens dat er een systeem achter zit, maar weten ze heel goed waar ze tegenaan lopen. Daar moet je hen op bevragen.”

Jullie ontdekten dat te veel kennis zelfs een probleem kan worden.

“Het bewonerspanel rond de scanfiets bestond uit twintig mensen die langer dan een jaar meedachten. Op de eerste sessie werd ze meteen van alles uitgelegd, voordat er ook maar een vraag was gesteld.

Op een gegeven moment wisten ze eigenlijk teveel. Ze werden een soort consultants binnen de gemeente. Ze waren zo ingevoerd in de gemeentelijke vraagstukken dat ze ook vanuit de gemeente gingen denken, terwijl ze juist vanuit het bewonersperspectief waren gevraagd."

Commerciële AI-bedrijven evalueren hun technologie toch ook voortdurend?

“Zeker. Bedrijven als OpenAI zijn gewend om continu te evalueren, verder te bouwen en A/B-tests te doen.

Zij evalueren alleen niet op publieke waarden, maar op commerciële waarde. We kunnen zeker wat leren van hun methoden, maar moeten daarbij wel altijd bewust blijven van de context. Je kan in een publieke omgeving niet real-time gaan testen tussen twee groepen bewoners die daar zelf niet van op de hoogte zijn, maar je kan wel een experiment doen waarin je de situatie nabootst en waar je bewoners toe uitnodigt om mee te doen. Ze kijken wanneer mensen een product het meest gebruiken, wanneer ze het langst blijven hangen en wanneer ze bereid zijn ervoor te betalen.”

Efficiëntie is vaak het argument voor AI. Wat missen we dan?

“Voor de overheid lijkt efficientië soms in strijd met participatie. Als mensen zich met een systeem gaan bemoeien, voelt dat direct minder efficiënt.

Maar je moet groter kijken. Uit onderzoek van de Autoriteit Persoonsgegevens bleek dat tien procent van de parkeerboetes onterecht was en dat veertig tot zestig procent van de mensen die bezwaar maakten gelijk kreeg.

Het wordt efficiënter bij de handhavers, maar drukker bij de belastingafdeling. En de burger krijgt ook werk: een bezwaarbrief schrijven en formulieren invullen.

Daarnaast is er een langetermijneffect. Wat doet een onterechte boete met het vertrouwen in de overheid? En wat doet een onzichtbaar algoritme met de betrokkenheid bij de stad?”

Je zegt dat technologie soms de verkeerde dingen efficiënter maakt.

“Ik heb mijn tent eens laten drogen op het grasveld voor mijn huis. Binnen twintig minuten stond er een handhaver die zei dat de tent weg moest. Een nieuwe buur had via een meldingenplatform geklaagd over overlast.

Dat is super efficiënt. De handhaver duldde geen tegenspraak, en wilde snel door naar de volgende melding op zijn checklist. Dat is super efficiënt.

Maar het gaat in tegen het zelfoplossend vermogen van een buurt. De buur had ook kunnen aanbellen of in de buurtapp kunnen vragen van wie de tent was en hoelang die er zou staan.

Als je één onderdeel van een systeem efficiënter maakt, verstoor je andere delen van de dynamiek.”

Kun je efficiëntie ook aan de kant van bewoners inzetten?

“Ja. Samen met Tom van Arman van Tapp bouwden we een beeldherkenningsalgoritme voor sensoren in de openbare ruimte.

Bewoners fotografeerden sensoren op straat met hun telefoon. Het systeem kon aangeven of iets bijvoorbeeld een verkeerscamera van de gemeente Amsterdam was. We deden dit juist omdat het officiële sensorenregister niet zo toegankelijk is.

Algoritmes kun je ook gebruiken om efficiënter bezwaar te maken tegen een onterechte boete, of om makkelijker een vergunning aan te vragen. Maar een gemeente denkt toch vaak eerst aan de andere kant van de interactie.”

Jullie gebruiken de term ‘poreuze technologie’. Wat is dat?

“Als je een parkeerboete krijgt, kun je je pas met het systeem bemoeien wanneer je bezwaar mag maken. Je kunt nergens eerder een gesprek aangaan, een briefje achterlaten of bellen. Je kunt alleen via een vast formulier bezwaar indienen.

Dat is niet poreus.

Poreus zou zijn dat je kunt zeggen: ik was aan het laden en lossen, kijk, hier zijn mijn boodschappentassen. Afhankelijk van de omstandigheden is dat wel of niet acceptabel.

Poreuze technologie biedt op meerdere momenten en manieren een opening om je met het systeem te bemoeien.”

Is transparantie daarvoor genoeg?

“Je hebt transparantie in vele soorten en maten. Ik zie het vaak als eerste stap. Amsterdam heeft bijvoorbeeld een sensorenregister waarin veel sensoren staan. Dat is supergoed, en ook transparant. Maar het register is een lijst van vage titels, GPS-coördinaten en bevat geen foto's.

Een nieuwsgierige bewoner die een sensor ziet hangen, moet dus naar die website en dan handmatig de GPS-coordinaten kopiëren en opzoeken. Vaak hangen sensoren in groepjes bij elkaar: dan is het met het register nog lastig om uit te vogelen wat er voor je hangt. Niemand is zó nieuwsgierig.

Het is transparant omdat het online staat, maar niet leesbaar en niet actionable. Je kunt er niet gemakkelijk iets mee en het nodigt niet uit om een vraag te stellen.”

Waar zit voor jou de kracht van AI?

“AI kan repetitieve dingen en taken die je zelf bijna op de automatische piloot doet heel snel uitvoeren.”

En de zwakte?

“Er is vaak geen ruimte meer voor dingen die net afwijken van de standaard. Daar moeten we heel streng ruimte voor creëren. Ook ben ik bang dat we spontaniteit verliezen."

‘Human in the loop’ klinkt geruststellend. Hoe werkt dat nu?

“Ik heb bij de gemeente Den Bosch het proces rond een parkeerscanauto gevolgd. Ik zat naast een handhaver die achter een beeldscherm alle binnenkomende foto's en boetes moest beoordelen.

Het voelde als een soort boete-Tinder: wel, niet, wel, niet.

In zo'n systeem wordt de mens niet versterkt door technologie. De mens versterkt de technologie. Hij was bijna een slave to the machine.

De handhaver vond het prettig dat hij de hele dag kon zitten, omdat hij last van zijn rug had. Maar hij miste het contact met mensen. Normaal liep hij op straat, maakte praatjes en vroegen mensen hem de weg.

Op korte termijn is het gemakkelijk om te zeggen: dit is lekker makkelijk. Op lange termijn worden mensen daar niet gelukkig van.”

Willen bewoners eigenlijk wel in de loop zitten?

"Ja, zeker. Maar je moet je vragen aanpassen aan de beleving van bewoners. Dat vereist ook nieuwsgierigheid van de ambtenaar.

Waarschijnlijk krijg je weinig antwoord als je vraagt: wat vind jij eigenlijk van dit algoritme? Maar als ik op een verjaardag vertel over het onderzoek naar de parkeerscanauto, heeft iedereen direct een interessant verhaal te vertellen. Vaak hebben mensen iets meegemaakt, waarbij ze doorhadden dat een beslissing té automatisch werd genomen.

De manieren waarop mensen vastlopen, en de uitzonderingen die ze wensen, kun je zien als interessante feedback.”

Wat heb je zelf vooral van het traject geleerd?

"Het klinkt allemaal zwaar: met bewoners in gesprek, verantwoordelijkheidsvraagstukken en complexe technologie.

Maar in de experimenten die we hebben ontworpen en uitgevoerd, bleek plezier een hele belangrijke basis voor een goed gesprek. Met een leuk format, is het makkelijker om je nieuwsgierigheid aan te zetten en echt iets van bewoners te leren.

Veel experimenten en methoden uit het boek zijn eenvoudig. Ga bijvoorbeeld met een afbeelding van je technologie naar buiten en knoop gesprekken aan. Al doe je dat maar twee uurtjes, je leert er ontzettend veel van. En het is ook nog leuk.

Ik nodig jullie allemaal uit het zelf te gaan proberen! En mocht dat lukken, hoor ik er graag over.”

---

Het handboek Bewoners in de loop is gratis te downloaden via bewonersindeloop.nl. Op deze website kun je ook door alle ideeen, experimenten en methoden bladeren.