Waarom controle achteraf faalt

1.De volgorde die overal binnensluipt

Een jurist opent een processtuk en laat de AI eerst een korte analyse maken, voordat ze zelf leest wat er staat. Een beleidsmedewerker laat de AI een vergunningsdossier langslopen en bekijkt daarna de bevindingen. Een controller laat de AI een nota beoordelen op afwijkingen en checkt vervolgens of dat klopt. Een accountant laat de AI door de jaarstukken gaan en toetst pas daarna de gevonden signalen. Vier werkvelden, één zelfde volgorde: eerst het antwoord, dan de controle.

Dat voelt logisch, en het klinkt als discipline. De AI is snel, en u bent de laatste, zorgvuldige check. Uit de metingen in dit stuk blijkt dat precies die volgorde de kwaliteit van uw controle drukt, ongeacht hoe zorgvuldig u probeert te zijn.

2.Het ankereffect: wat een kant-en-klaar antwoord met u doet

Het mechanisme heeft een naam: het ankereffect. Het eerste getal, de eerste conclusie of het eerste antwoord dat u ziet, wordt de maatstaf waarlangs u alles daarna beoordeelt. Bij een blanco pagina zoekt u zelf naar wat er ontbreekt. Bij een kant-en-klaar antwoord zoekt u naar wat er klopt aan wat er al staat. Dat is een andere taak, en een lichtere.

Onderzoek naar AI-antwoorden op programmeervragen laat zien hoe dat uitpakt: 77 procent van de antwoorden was breedsprakig en overtuigend geformuleerd, en gebruikers die ze controleerden misten daardoor 39 procent van de fouten (Kabir e.a., CHI 2024). Dat risico stapelt zich op: in AI-antwoorden dekt 1 op de 4 bronverwijzingen de bijbehorende zin niet (Liu e.a., EMNLP 2023). Wie zo'n antwoord eerst als waar aanneemt en het pas daarna controleert, controleert een tekst die zwakker onderbouwd is dan hij oogt.

Bij medische beeldbeoordeling is het mechanisme letterlijk zichtbaar. Een computersysteem markeerde verdachte plekken op mammografiebeelden voordat de radioloog zelf keek. Wat het systeem niet markeerde, werd daarna significant minder vaak als afwijkend beoordeeld, ook door de radiologen zelf (Lehman e.a., 2015). De tool had al gekeken. Dat verval van de eigen blik trad op bij dezelfde mensen, op dezelfde beelden, zonder dat ze het zelf merkten.

3.Wat er gemeten is

De metingen komen uit verschillende vakgebieden en wijzen dezelfde kant op. Bij besliskundig onderzoek scoorden deelnemers die eerst zelf oordeelden en dan pas het AI-antwoord lazen, beter op foute gevallen dan deelnemers die de volgorde omdraaiden: 66 tegen 37 procent (Agudo e.a., 2024). Bij advies vanuit een systeem in de gezondheidszorg volgden mensen fout advies 26 procent vaker op als het van het systeem kwam, ook wanneer ze zelf expert waren (Goddard e.a.).

Bij de grootste meting die er bestaat, 625.625 mammografiescreenings met en zonder computerondersteuning, leverde de voormarkering over de hele linie geen winst op: 85,3 tegen 87,3 procent juiste beoordelingen (Lehman e.a., 2015). Voor dezelfde 107 beoordelaars, met en zonder die ondersteuning, was het verschil wel significant en negatief: 89,6 naar 83,3 procent (odds ratio 0,53). De schade landde bovendien niet gelijk. Bij de zes meest onderscheidende radiologen, de besten van de groep, daalde de gevoeligheid voor moeilijke gevallen met 14,5 procentpunt (Povyakalo e.a., 2013). Wie het beste zelf kan oordelen, verliest het meeste aan een antwoord dat eerst komt.

4.Het eerlijke tegenpunt: controle is niet zinloos

Dit stuk zegt niet dat controle zinloos is. Zonder controle is de uitkomst nog slechter, dat blijkt uit dezelfde onderzoeken. Wat het wel zegt: controle vangt een omgekeerde volgorde niet op. Wie eerst het antwoord leest, kan daarna zo zorgvuldig controleren als hij wil. Het ankereffect is dan al opgetreden, voordat de controle begint.

Twee kanttekeningen horen hierbij. De eerste: het sterkste bewijs voor het mechanisme, de mammografiestudie, komt uit de radiologie, niet uit documentwerk. De meting over breedsprakige, gemiste fouten gaat over programmeervragen, niet over juridische of financiele stukken. Voor nota-beoordeling, vergunningverlening of jaarrekeningcontrole zelf vonden wij geen directe meting van deze volgorde-hefboom. De brug van die vakgebieden naar uw werk is een parallel, geen directe meting, en wij benoemen die brug hier expliciet.

De tweede kanttekening: controle heeft ook in de juiste volgorde een grens. Bij codereview, een ander vakgebied waar dit wel is gemeten, daalt het vermogen om fouten te vinden voorbij de 400 regels code per sessie, en zakt de prestatie na ongeveer zestig minuten aaneengesloten werk (SmartBear/Cisco). Een lang document houdt dus risico, ook met de juiste volgorde. En een laatste waarschuwing: u voelt niet altijd zelf of een volgorde werkt. Ervaren software-ontwikkelaars die met AI werkten, deden er in werkelijkheid 19 procent langer over dan zonder, terwijl ze zelf geloofden dat ze 20 procent sneller waren geweest (METR, 2025). Het eigen gevoel is hier dus geen betrouwbare meter, en dat geldt ook voor het onze. Dat is precies waarom wij volgorde-effecten willen meten in plaats van aannemen.

5.Wat dit betekent voor uw werkvolgorde

De praktische conclusie is simpel te formuleren en lastig om vol te houden: vorm eerst zelf een oordeel, voordat u het AI-antwoord opent. Bij een nota-beoordeling betekent dat: u loopt de nota eerst zelf langs op de posten die u verwacht, voordat u de AI-signalen erbij haalt. Bij een vergunningsdossier: u markeert eerst zelf waar u twijfelt over volledigheid, voordat u leest wat de AI daarover meldt. Bij jaarstukken: u vormt eerst een eigen verwachting over de cijfers die niet kloppen, voordat u de AI-bevindingen naast die verwachting legt. Bij een processtuk: u leest de kern van het stuk eerst zelf, voordat u de AI om een analyse vraagt.

In alle vier de gevallen blijft de AI in beeld. Ze komt alleen later, als tweede blik naast de uwe, niet als eerste antwoord dat uw blik al kleurt. Dat is ook waarom wij Haertdijk AI zo hebben gebouwd: de tool wijst vindplaatsen aan en citeert de bron letterlijk, maar geeft nooit een eindoordeel voordat u er zelf een heeft gevormd.

7.Waar dit stuk ophoudt

Dit stuk trekt de conclusie dat volgorde er meetbaar toe doet, op basis van bewijs uit besliskunde, gezondheidszorg, radiologie en programmeeronderzoek. Wat het niet doet: het claimt niet dat deze exacte percentages gelden voor nota-beoordeling, vergunningverlening of jaarrekeningcontrole. Zulke directe metingen bestaan, voor zover wij konden vinden, niet.

Twee van de vier metingen komen uit domeinen buiten documentwerk (radiologie, programmeervragen); de brug naar uw werkveld is een parallel. De Agudo- en Goddard-metingen komen uit gecontroleerde onderzoeksopzetten, niet uit een dagelijkse werkpraktijk met tijdsdruk en dossiers vol uitzonderingen. En de schade die Povyakalo bij de beste beoordelaars vond, is gemeten bij een kleine subgroep van zes radiologen; dat cijfer is illustratief, geen brede wet.

Wat dit zou weerleggen: een meting die laat zien dat ervaren documentbeoordelaars, met domeinkennis en voldoende tijd, evenveel fouten vinden ongeacht de volgorde waarin ze het AI-antwoord lezen. Die meting hebben wij niet gevonden. Waar wij zelf onzeker over blijven: hoeveel van het effect in uw werk in de volgorde zit, en hoeveel in andere factoren zoals tijdsdruk of vertrouwen in de tool.

Bronnen

• Agudo e.a. (2024), besliskundig onderzoek naar volgorde-effecten bij AI-ondersteunde beoordeling. pmc.ncbi.nlm.nih.gov/articles/PMC10772030
• Goddard e.a., onderzoek naar advies-volggedrag in de gezondheidszorg. academic.oup.com/jamia
• Liu e.a. (2023), "Findings of EMNLP 2023" over bronverwijzingen in AI-antwoorden. aclanthology.org/2023.findings-emnlp.467
• Kabir, Udo-Imeh, Kou & Zhang (2024), "Is Stack Overflow Obsolete?", CHI 2024. arxiv.org/abs/2308.02312
• SmartBear, "Best Practices for Peer Code Review" (Cisco-studie naar reviewcapaciteit). smartbear.com/learn/code-review
• METR (2025), "Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity". metr.org/blog/2025-07-10
• Lehman e.a. (2015), "Diagnostic Accuracy of Digital Screening Mammography With and Without Computer-Aided Detection", JAMA Intern Med. pmc.ncbi.nlm.nih.gov/articles/PMC4836172
• Povyakalo e.a. (2013), Medical Decision Making 33(1), heranalyse van CAD-mammografiedata. pubmed.ncbi.nlm.nih.gov/23300205