Docs / Eerst de vraag, dan de output
Wie bij de output begint, heeft zijn vraag al laten afbakenen
Er komt een analyse binnen met de vraag of u er even naar wilt kijken. U leest hem, u vindt er iets van, u corrigeert wat er mis is. Wat u niet doet is de vraag stellen die eronder ligt, want die is al beantwoord. Dit stuk gaat over dat gat, en over de metingen die laten zien hoe duur het is.
Kernpunten
- Wie eerst zelf oordeelt en dan pas het AI-advies leest, komt vaker tot een juist oordeel dan wie het omdraait: 66 tegen 37 procent (Agudo e.a., 2024). De volgorde is het verschil, niet de zorgvuldigheid.
- Handmatige controle mist gemeten 39 procent van de fouten in een breedsprakig, overtuigend geformuleerd antwoord (Kabir e.a., CHI 2024).
- In een experiment leverde 68 procent de eerste AI-tekst ongewijzigd in, en was daarna nog gemiddeld 3 minuten met de taak bezig (Noy en Zhang, Science, 2023).
- Een analyse die u binnenkrijgt bevat drie dingen die u niet ziet: de vraag zoals die gesteld werd, welke bronnen voorrang kregen, en welke aannames er onder de conclusie liggen.
- Wij denken dat het duurste deel van uw werk het opmerken is van wat er niet in het stuk staat. Daar bestaat geen tool voor die het van u overneemt.
1.Het moment waarop de vraag verdwijnt
Een collega, een cliënt of een interne opdrachtgever stuurt u een analyse met de vraag of het klopt. Dat is een redelijk verzoek en het bespaart iedereen tijd, tenminste zo voelt het.
Kijk wat er in dat verzoek zit. U krijgt een antwoord. U krijgt niet de vraag zoals hij gesteld is, niet de stukken die zijn meegegeven, en niet de afweging welke bron voorrang kreeg. U beoordeelt dus de uitwerking van een probleemstelling die iemand anders heeft gemaakt, en u kunt niet zien of die probleemstelling de juiste was.
In de praktijk gaat het daarna zo: u corrigeert wat er fout staat, u nuanceert wat te stellig is, en u stuurt het terug. Het stuk wordt beter. De vraag eronder is nooit gesteld.
Wij denken dat hier het echte risico zit, en niet in de verzonnen bronnen waar het meestal over gaat. Een verzonnen bron valt op zodra u hem opzoekt. Een goed uitgewerkte analyse van de verkeerde vraag valt nergens op, want er is niets aan mis.
2.Wat de volgorde met uw oordeel doet
Dit is geen gevoelskwestie. Het is gemeten, en de uitkomst is ongemakkelijk.
Agudo en collega's legden deelnemers beslissingen voor, de ene groep met het AI-advies vooraf en de andere groep pas nadat zij zelf een oordeel hadden gevormd. Wie eerst zelf oordeelde, kwam vaker tot een juist oordeel bij de gevallen waarin het advies fout was: 66 tegen 37 procent. Dezelfde mensen, dezelfde informatie, andere volgorde.
Kabir en collega's lieten zien hoe goed handmatige controle werkt op een antwoord dat overtuigend geformuleerd is: er wordt 39 procent van de fouten gemist. De oorzaak ligt niet bij slordigheid. Een vloeiende tekst met een heldere opbouw geeft weinig aanleiding om te twijfelen.
En Noy en Zhang maten wat er gebeurt als er geen verplichting tot controleren is: 68 procent van de deelnemers leverde de eerste AI-tekst ongewijzigd in, en was daarna nog gemiddeld drie minuten met de taak bezig. Zonder een moment dat controle afdwingt, gebeurt het niet.
Bij elkaar zeggen deze drie metingen hetzelfde. Het antwoord dat u als eerste ziet, zet de richting van uw denken vast. Dat is precies wat er gebeurt wanneer u een analyse ter controle krijgt aangeboden.
3.Drie dingen die een binnengekomen analyse niet meelevert
De vraag zoals hij werd gesteld. Een model beantwoordt de vraag die het krijgt, inclusief de aannames die in de formulering zaten. Vraag iemand of een opzegging rechtsgeldig was en u krijgt een antwoord over opzegging, ook als het echte probleem bij de totstandkoming lag.
Welke bronnen voorrang kregen. Uit welke wetten, uitspraken of handboeken is geput, en welke zijn buiten beschouwing gelaten. Bij een gewoon advies ziet u dat aan de voetnoten. Bij een binnengekomen analyse ziet u alleen wat er is gebruikt, nooit wat er is overgeslagen.
De aannames onder de conclusie. Elke conclusie rust op feiten die als vaststaand zijn behandeld. Welke dat waren, en of ze kloppen, staat er zelden bij.
Dat dit niet theoretisch is, bleek in augustus 2026 bij de rechtbank Amsterdam. In een processtuk stond een citaat uit het arrest DSM/Fox dat daar niet in staat. De raadsman ontkende dat er AI was gebruikt en kon niet achterhalen hoe de passage in het stuk terecht was gekomen. Dat laatste is het punt: de herkomst van een passage was niet meer te reconstrueren, ook niet door degene die het stuk indiende. De rechtbank rekende er een halve punt extra proceskosten voor, 2.315,50 euro.
4.Het moeilijkste deel is zien wat er niet staat
Vraag een ervaren adviseur waar zijn werk uit bestaat en het antwoord gaat zelden over het beoordelen van wat er ligt. Het gaat over het opmerken van wat ontbreekt: de partij die niet genoemd wordt, de termijn die niemand heeft nagerekend, het scenario waar niemand aan dacht.
Dat is bij een gewone vraag met alle context al lastig. Bij een binnengekomen analyse is het lastiger, om een simpele reden: een compleet ogend stuk nodigt niet uit tot de vraag wat eraan mist. De vorm zegt dat het af is.
Wij hebben dit in ons product als ontwerpregel neergelegd, en het is de reden dat een resultatenlijst hier nooit als volledig wordt gepresenteerd. Wat de motor niet vond, kan er nog steeds zijn. In de export staat daarom een apart onderdeel voor de stukken waarop geen acht is geslagen, en wordt geteld welke punten in uw denklijn geen bron hebben. Dat is geen bescheidenheid maar een weergave van wat een tekstanalyse wel en niet kan zien.
5.Waar de context eigenlijk woont
Als de vraag vooropgaat, dan is de volgende vraag waar die context vandaan moet komen. Zelden uit één systeem. Hij zit in het dossier, maar ook in de mailwisseling ervoor, in een besluit van twee jaar geleden, in een uitzondering die ooit is gemaakt, en in het geheugen van de collega die weet waarom.
Ons onderzoek naar waar het dossier fysiek staat wees uit dat het in de advocatuur, het notariaat en de accountancy vaker in Microsoft 365 en SharePoint ligt dan in het praktijkpakket zelf. Urios zet de dossiermap in de SharePoint van het kantoor, Epona is op SharePoint gebouwd, het klantdossier van Exact staat er fysiek in, en Nobilex is Office 365-native. Voor kantoren zonder praktijkpakket, in de advocatuur veruit de grootste groep, is er helemaal geen pakket en ligt alles in Word, Outlook en SharePoint.
Dat betekent iets nuchters. Een tool die alleen het aangeleverde document kent, kent uw zaak niet. Wij lossen dat op door aan te wijzen waar iets vandaan komt, zodat u de rest ernaast kunt leggen. Meer weten dan u is het doel niet.
6.Een werkvolgorde die dit repareert
De reparatie is niet ingewikkeld, en ze kost aan het begin tijd die u later terugkrijgt.
Stel de vraag opnieuw voordat u het antwoord leest. Schrijf in één zin op wat er volgens u beslist moet worden. Doe dat voordat u de aangeleverde analyse opent. Dit is de goedkoopste stap en volgens de meting van Agudo de meest effectieve.
Vraag naar de context in plaats van naar de conclusie. Wie u een analyse stuurt, kunt u vragen om de stukken en de vraagstelling erbij. Dat is geen verwijt en het scheelt u het reconstructiewerk.
Toets daarna pas per bewering. Nu is nakijken zinvol, want u weet welke vraag er beantwoord had moeten worden. Neem de beweringen uit het stuk, leg elke bewering naast de bron, en houd apart bij wat u niet kon vinden.
Leg vast wat u deed. Welke versie u beoordeelde, wat u naliep en wat er open bleef. In de Amsterdamse zaak was het onvermogen om dat te reconstrueren een deel van het probleem.
7.Wat mensen hierover vragen
- Waarom zou ik een AI-analyse niet gewoon nakijken?
- Dat mag, maar u kijft dan een antwoord na op een vraag die u zelf niet meer hebt gesteld. U krijgt de conclusie zonder de vraagstelling, zonder de meegegeven stukken en zonder de afweging welke bron voorrang kreeg. Een verzonnen bron valt op zodra u hem opzoekt. Een goed uitgewerkte analyse van de verkeerde vraag valt nergens op, want er is niets aan mis.
- Maakt het echt uit in welke volgorde ik kijk?
- Ja, en dat is gemeten. Wie eerst zelf oordeelt en dan pas het AI-advies leest, komt vaker tot een juist oordeel bij de gevallen waarin dat advies fout is: 66 tegen 37 procent (Agudo e.a., 2024). Dezelfde mensen, dezelfde informatie, andere volgorde. Handmatige controle van een overtuigend geformuleerd antwoord mist bovendien gemeten 39 procent van de fouten (Kabir e.a., CHI 2024).
- Wat vraag ik op als iemand mij een AI-analyse stuurt?
- Drie dingen die er zelden bij zitten: de vraag zoals die gesteld is, de stukken die zijn meegegeven, en welke aannames als vaststaand zijn behandeld. Dat is geen verwijt aan de afzender en het scheelt u het reconstructiewerk. In een zaak bij de rechtbank Amsterdam van 12 augustus 2026 kon de indiener zelf niet meer achterhalen hoe een onjuist citaat in het stuk terecht was gekomen.
- Is dit niet gewoon wat een goede professional altijd al deed?
- Voor een groot deel wel. Bronnen nakijken en de vraag achter de vraag zoeken horen bij het vak, ook zonder AI. Wat verandert is de hoeveelheid en de vorm: er komen meer stukken binnen die af ogen, en het compleetste ogende stuk nodigt het minst uit tot de vraag wat eraan mist.
Waar dit stuk ophoudt
- De metingen van Agudo, Kabir en Noy en Zhang gaan over beslissingen en teksten in een onderzoeksopzet, niet over Nederlands juridisch of financieel werk. Dat de richting daar hetzelfde is, denken wij; gemeten is het niet.
- Wij hebben niet gemeten hoeveel tijd het kost om de vraag opnieuw te stellen voordat u de analyse opent, en ook niet of dat per saldo tijd oplevert. Wie zegt dat het sneller is, zegt iets dat wij niet kunnen onderbouwen.
- De stelling dat het afbakenen van de vraag het grootste risico is, is onze lezing. Ons eigen onderzoek onder 120 documentprofessionals ving dit patroon niet: de klachten daar gaan over controletijd, bronnen en tussenstappen, niet over probleemstelling.
- Over waar de context woont hebben wij de systemen in kaart gebracht, niet het gedrag. Hoeveel van de relevante context daadwerkelijk buiten die systemen leeft, weten wij niet.
Bronnen
- Agudo, U., Liberal, K.G., Arrese, M. en Matute, H., "The impact of AI errors in a human-in-the-loop process", Cognitive Research: Principles and Implications, 9:1 (2024). pmc.ncbi.nlm.nih.gov/articles/PMC10772030/
- Kabir, S. e.a., over gemiste fouten bij handmatige controle van overtuigend geformuleerde antwoorden, CHI 2024. arxiv.org/abs/2308.02312
- Noy, S. en Zhang, W., "Experimental evidence on the productivity effects of generative artificial intelligence", Science (2023). economics.mit.edu/sites/default/files/inline-files/Noy_...
- Rb. Amsterdam, ECLI:NL:RBAMS:2026:8258 (12 augustus 2026), r.o. 4.21 en 4.22. uitspraken.rechtspraak.nl/details?id=ECLI:NL:RBAMS:2026...
- Haertdijk AI, "Waar het dossier echt staat", Analyse 04, 20 augustus 2026, over praktijksystemen en koppelbaarheid in de advocatuur, het notariaat en de accountancy.
- Haertdijk AI, Waarom controle achteraf faalt en Uw cliënt vertrouwt op ChatGPT.
De vraag opnieuw stellen, samen
Heeft u een analyse liggen die u zou moeten nakijken? Neem hem mee in een gesprek. Wij beginnen dan bij de vraag eronder in plaats van bij het stuk zelf, en u ziet vanzelf of er iets tussen zit dat niemand had gesteld. Mailen kan naar [email protected].