Tekst Meike Willebrands
Foto Fotodienst NFI
Bij forensisch onderzoek is het vaak een mens die keuzes in een onderzoek maakt, resultaten interpreteert en zo tot een conclusie komt. Forensisch vuurwapendeskundige Erwin Mattijssen richt zich met zijn promotieonderzoek op ‘de menselijke factor’ in forensisch onderzoek en de mogelijke beïnvloeding van het oordeel van deskundigen tijdens het schaduwproces. Tijdens die procedure controleert een tweede onderzoeker (de schaduw) het werk van een collega. Mattijssen zijn conclusie: “‘Blind schaduwen’ - waarbij de tweede onderzoeker zélf interpreteert en concludeert – leidt tot een onafhankelijkere schaduw dan wanneer de schaduw ook de beschikking krijgt over de voorgestelde conclusie van de eerste onderzoeker.” Het onderzoeksgebied Wapens en Munitie heeft het blind schaduwen inmiddels ingevoerd bij al het vergelijkend onderzoek.
Bij het onderzoeksgebied Wapens en Munitie onderzoeken deskundigen onder meer of een kogel of huls uit een specifiek vuurwapen afkomstig is. Wanneer een kogel door de loop van een vuurwapen gaat, ontstaan er kraslijnen in de kogel. De krassen in een kogel die is aangetroffen op een plaats delict, vergelijkt de deskundige met de kraslijnen in proefkogels die zijn verschoten met het vuurwapen. Een vuurwapendeskundige beoordeelt hierbij in hoeverre de kraslijnen overeenkomen en hoe kenmerkend die zijn voor het specifieke vuurwapen. Hoe meer overeenkomsten, hoe hoger de bewijskracht.
“Al deze beoordelingen zijn gebaseerd op interpretaties van een deskundige”, aldus Mattijssen. “Dat geldt zeker bij de beoordelingen hoe waarschijnlijk de verschillen en overeenkomsten in kraslijnen zijn wanneer de kogel afkomstig is uit het specifieke vuurwapen of juist wanneer deze afkomstig is uit een ander vuurwapen.” De verhouding tussen deze twee beoordelingen resulteert in de conclusie van het vergelijkend onderzoek, de zogenoemde bewijskracht. Een voorbeeld van een conclusie: de resultaten van het vergelijkend onderzoek zijn ‘waarschijnlijker’ wanneer de kogel is verschoten met het onderzochte vuurwapen dan wanneer de kogel is verschoten met een ander vuurwapen. “Die interpretatie is mensenwerk”, onderstreept de vuurwapendeskundige.
Schaduwen
Een methode om de menselijke factor te beteugelen, is door het uitgevoerde onderzoek inclusief resultaten, interpretatie, voorgestelde conclusie en conceptrapportage te laten controleren door een collega. Dit ‘schaduwen’ is een standaard procedure binnen het NFI. “Een interessante vraag is hoe we als mens mogelijk beïnvloed worden tijdens het uitvoeren van ons werk”, zegt de deskundige.
Binnen de psychologie is al veel onderzoek gedaan naar beïnvloeding van mensen. Daarom heeft Mattijssen voor zijn promotieonderzoek de samenwerking gezocht met prof. dr. Cilia Witteman van de Diagnostic Decision Making groep binnen de Radboud Universiteit Nijmegen. Binnen die samenwerking richt één van de studies van Mattijssen zijn promotieonderzoek zich op de vraag of de schaduw van een vergelijkend onderzoek beïnvloed wordt door de voorgestelde conclusie van de eerste onderzoeker.
Anchoring bias
Mattijssen kijkt kritisch naar deze manier van schaduwen. “Je zou het kunnen vergelijken met een soort checklist”, meent hij. “Bij vergelijkend onderzoek moet volgens mij de interpretatie van het bewijs centraal staan. Dat is de kern van de deskundigheid. Omdat je de voorgestelde conclusie van je collega al ziet, kan die je beïnvloeden en kun je geneigd zijn daarin mee te gaan.” Mattijssen refereert hierbij aan de zogeheten ‘anchoring bias’ (het referentie-effect), dat mogelijk een rol speelt. Mattijssen geeft aan dat het ‘anker’, de conclusie van de eerste onderzoeker, een schaduw mogelijk kan beïnvloeden. Als dit zo is, kan de schaduw geen onafhankelijk eigen oordeel meer vellen. Om te toetsen of deze beïnvloeding een rol speelt in het schaduwproces, heeft de deskundige voor zijn promotieonderzoek twee jaar lang een onderzoek uitgevoerd op de werkvloer.
Twee procedures
Mattijssen heeft eerst data verzameld terwijl zijn collega’s werkten volgens de oorspronkelijke schaduwprocedure: de schaduw kon de interpretatie en voorgestelde conclusie van de voorganger zien. Daarna heeft hij data verzameld terwijl er is gewerkt volgens een aangepaste ‘blinde’ schaduwprocedure. In die situatie kreeg de schaduw alleen de foto’s van het vergelijkend onderzoek als resultaat van de eerste onderzoeker en moest die zelf interpreteren en een conclusie trekken. Pas daarna ontving de schaduw het gehele dossier en kon die zijn interpretatie en conclusie vergelijken met die van de eerste onderzoeker. Om de data te verzamelen, is bij elk vergelijkend onderzoek een feedbackformulier ingevuld. Dit met het doel om de kwaliteit van het vergelijkend onderzoek te kunnen waarborgen. Daar zat echter ook één belangrijke vraag tussen voor Mattijssen: was de schaduw het direct eens met de voorgestelde conclusie van de eerste onderzoeker? Ja of nee. Oftewel, was er wel of geen discussie over de bewijskracht?
Uitkomsten
De resultaten van het onderzoek laten een verschil zien tussen de twee verschillende procedures, vertelt Mattijssen. “Bij de oorspronkelijke manier van schaduwen, waarbij de schaduw dus alles kon zien, blijkt dat in 12,5 % van de conclusies die zijn gerapporteerd een discussie is geweest over de bewijskracht. Bij de blinde manier, waarbij de schaduw zélf interpreteert, was dat in 42,3% van de conclusies het geval. Een mogelijk verklaring voor deze resultaten is de eerdergenoemde anchoring bias, waarbij de conclusie van de eerste onderzoeker mogelijk als ‘een anker’ optreedt. Zolang de schaduw niet een volledig andere interpretatie heeft, kan deze sneller meegaan met de voorgestelde conclusie van de eerste onderzoeker dan wanneer deze een onafhankelijke eigen conclusie moet trekken.
De opzet van de schaduwprocedure blijkt dus effect te hebben op de kans dat je een discussie over de bewijskracht hebt. Volgens de deskundige leidt de blinde schaduwprocedure wetenschappelijk gezien tot een verbeterd proces. “Je hebt dan in ieder geval twee onafhankelijke interpretaties die je daarna met elkaar vergelijkt, waardoor je écht schaduwt.”
In de oorspronkelijke manier van schaduwen blijkt ook uit Mattijssen zijn onderzoek dat in 12,1% van de gevallen een iets andere conclusie in het rapport kwam dan werd voorgesteld door de eerste onderzoeker. Bij de blinde schaduwprocedure was dat 25,8%. “Het effect van de schaduwprocedure uit zich dus ook in rapporten en niet alleen in een discussie.” Hierbij geldt overigens dat bijna alle discussies over de bewijskracht zijn gegaan en niet over de richting van het bewijs.
Positieve reacties
De data van twee jaar onderzoek vormen de basis voor deze studie en de conclusies. Mattijssen heeft zijn onderzoek inmiddels aan zijn collega’s gepresenteerd en zijn artikel voor publicatie ingediend. De vuurwapendeskundige heeft zijn bevindingen bovendien gepresenteerd tijdens vooraanstaande internationale bijeenkomsten. Daar ontving hij positieve reacties over het feit dat er nu onderzoek is gedaan in het forensische veld, met resultaten die mogelijk te verklaren zijn door bekende psychologische inzichten en die erop wijzen dat een onafhankelijke ‘blinde’ schaduw optimaler is.
Het onderzoeksgebied Wapens en Munitie schaduwt nu al het vergelijkend onderzoek volgens de nieuwe ‘blinde’ schaduwprocedure. Het NFI gaat ook breder onderzoeken bij welke andere onderzoeksgebieden een vergelijkbare blinde schaduwprocedure meerwaarde kan hebben. Mattijssen: “De resultaten van dit uitgevoerde onderzoek betekenen niet dat de oorspronkelijke schaduwprocedure niet goed was. Je past je procedures aan de meest recente inzichten aan. Een kritische houding tegenover bestaande procedures kan aantonen dat er ruimte is voor verbetering. Die kritische houding en inzet op innovatie passen bij een kennisinstituut als het NFI waar kwaliteitsverbetering hoog in het vaandel staat.”