Gebruikersonderzoek Algoritmewijzer

Samengevat: De Algoritmewijzer is ontwikkeld om publieke organisaties te helpen transparant en begrijpelijk te communiceren over het gebruik van algoritmes en data. Burgers hebben niet altijd vertrouwen in algoritmes, terwijl organisaties worstelen met hoe zij hierover duidelijk kunnen communiceren. Daarom is onderzocht wat burgers willen weten over algoritmes en hoe zij daarover geïnformeerd willen worden. Op basis van dit onderzoek, uitgevoerd via een iteratief design thinking proces, is stap voor stap een beeldtaal en toolkit ontwikkeld die samen de Algoritmewijzer vormen.

Uitgevoerd door: Innovalor
Type onderzoek: 1-10-100 methode

Om te begrijpen wat burgers willen weten over algoritmes en hoe zij daarover geïnformeerd willen worden, zijn verschillende gebruikersonderzoeken uitgevoerd. Het doel was om stap voor stap te ontdekken welke informatie relevant is, hoe die het best kan worden gepresenteerd, en hoe zowel burgers als organisaties de beeldtaal van de Algoritmewijzer ervaren.

In elk onderzoek stond de interactie tussen gebruikers en experts centraal: burgers brachten het perspectief van begrijpelijkheid in, terwijl experts meedachten over correctheid en toepasbaarheid binnen publieke organisaties, omdat burgers vaak niet weten wat ze willen weten.

Doel van het onderzoek

Het doel is dat publieke organisaties de Algoritmewijzer zelfstandig kunnen toepassen in hun communicatie over algoritmes, zodat burgers beter inzicht krijgen in de kenmerken van een algoritme.

Ook moet de Algoritmewijzer bewustwording en kennis te vergroten over de inzet van algoritmes en het gebruik van data zowel bij burgers als bij publieke organisaties doormiddel van begrijpelijke en inclusieve beeldtaal.

Resultaten en inzichten

te veel symbolen maken beeldtaal complex en lastig te begrijpen.
6 kenmerken voor algoritmes werkt beter dan een uitgebreide set kenmerken.

Na meer dan 350 respondenten en meerdere iteraties blijkt dat de combinatie van gebruikersfeedback en expertinzichten cruciaal is. Elke iteratie leverde waardevolle inzichten op en resulteerde in verbeteringen van de vorm, duidelijkheid en relevantie van de beeldtaal. Bovendien bleek dat de gewenste mate van detail verschilt per doelgroep use case, zo blijkt dat gebruikers met weinig kennis over algoritme behoefte hebben aan meer informatie ten experts behoefte hebben aan meer details.

Wat is er mee gedaan?

De inzichten opgehaald uit de validatie interviews is verwerkt en heeft geleid tot het huidige ontwerp van de Algoritmewijzer (versie 4). Deze versie bestaat niet alleen uit een set iconen, maar is een complete toolkit met handboek en implementatie-instructies om organisaties te ondersteunen bij integratie in (online) klantreizen.

De Algoritmewijzer wordt momenteel getest in praktijkpilots. Het beheer is (tijdelijk) belegd bij onderzoeks- en adviesbureau InnoValor Advies. Daarnaast wordt het onderzoek en de doorontwikkeling van Algoritmewijzer voortgezet in het kader van het Actieplan Open Overheid 2026–2027, in samenwerking met het team Algoritmen en Waarborgen van het Ministerie van BZK.

Opzet onderzoek

Het onderzoek is uitgevoerd volgens een iteratief design thinking proces, de zogeheten 1-10-100 methode (Van Turnhout, Jeurens, Dreezens & Bakker, 2015).

In elke fase zijn concepten ontwikkeld, getest en aangescherpt op basis van feedback van gebruikers, experts en organisaties.

Vragen

Wat willen gebruikers weten over een algoritme?
Hoe willen gebruikers geïnformeerd worden?

Gebruikersonderzoek versie 1

Dit onderzoek had als doel de gewenste vorm en mate van detail van de beeldtaal bepalen en is uitgevoerd in de vorm van een vragenlijst met 71 respondenten.

Het eerste prototype van de Algoritmewijzer Versie 1A is ontwikkeld op basis van literatuur, rapporten en adviezen en getest in een focusgroep met partners van Digital We (Kadaster, DUO, RVO).

Uit de focusgroep vragenlijst bleek dat te veel symbolen beeldtaal complex en lastig te begrijpen maken. Op basis van deze inzichten is Versie 1B van de Algoritmewijzer ontwikkeld.

Daarnaast werd een vragenlijst onder studenten afgenomen om te achterhalen welke informatie zij terug willen zien in een beeldtaal voor algoritmes.

Er is een expertgroep samengebracht om de opgehaalde resultaten te evalueren en de inhoud aan te scherpen. Dit leidde tot twee nieuwe ontwerpen (Versie 2A en 2B).

Gebruikersonderzoek versie 2

Het gebruiker-bepaalde-ontwerp, Versie 2A, bestaat uit een uitgebreide set van 24 algoritme beschrijvende kenmerken. Deze versie is getest in gebruikersonderzoek 2.1. bij 111 respondenten aan de hand van een voorgelegd scenario gevolgd door een enquete.

Het expert-bepaalde-ontwerp, Versie 2B, bestaat uit een minimalistische set van 6 kenmerken. Deze versie is getest in gebruikersonderzoek 2.2 bij 156 respondenten aan de hand van een voorgelegd scenario, gevolgd door een enquête. De uitkomst van gebruikersonderzoek 2 is dat 6 kenmerken beter werkt dan een uitgebreide set kenmerken. Het resultaat van gebruikersonderzoek 2 is uitgewerkt tot ontwerpversie 3.

Gebruikersonderzoek versie 3

Prototype versie 3 bevatte naast de iconen ook een implementatietool en is gevalideerd via interviews met gebruikers en verschillende organisaties. Het doel van de interviews was de validatie van de iconenset, het uitlegdocument en de implementatietool. De validatie vond plaats aan de hand van een casus bij de Belastingdienst (proefberekening toelagen), eerst zonder en daarna met de Algoritmewijzer. De inzichten opgehaald uit de validatie interviews is verwerkt en heeft geleid tot het huidige ontwerp van de Algoritmewijzer (versie 4).

Informatie en Contact

Neem contact met ons op via algoritmewijzer@innovalor.nl of claudia.vermeulen@innovalor.nl Blijf op de hoogte voor alle onderzoeken-updates via onze LinkedIn en de Website