Is dit dezelfde persoon? Mens en machine trekken samen op bij vergelijken van gezichten

De beeldonderzoeker bekijkt  stills van de beelden van de bewakingscamera en een duidelijke referentiefoto, gemaakt door de politie of van bijvoorbeeld een paspoort of rijbewijs. Ruifrok vergelijkt de foto’s aan de hand van een lijst met kenmerken. Van de vorm van het gezicht tot de haargrens en van rimpels tot pigmentvlekken: de beeldonderzoekers nemen het gezicht minutieus onder de loep. “Ik kijk of ik bepaalde kenmerken zie, zowel op de ene als op de andere foto. Bijvoorbeeld of die persoon wallen heeft of rimpels”, legt Ruifrok uit. Als hij dat ziet, vinkt hij dat aan op de lijst.

Ook met botox rimpels zichtbaar

Soms is het wel dezelfde persoon, maar zijn er toch verschillen te zien op de foto’s. “Dan heeft de persoon op de ene foto wel een moedervlek op z’n wang , maar op de andere niet. Ik probeer dat dan te verklaren. Dat zou bijvoorbeeld kunnen komen doordat die moedervlek is weggehaald.” Werkt dit ook voor rimpels die met behulp van botox zijn weggepoetst? Ruifrok schiet in de lach: “Rimpels zijn met botox minder goed zichtbaar, maar ze zijn er nog steeds. Je blijft ze altijd zien en je raakt ze dus niet kwijt.” 

Het vergelijken van twee foto’s doet de beeldonderzoeker niet alleen. Bij elke vergelijking zijn drie beeldonderzoekers betrokken, om zo tot een goed oordeel te kunnen komen. “Om elkaar niet te beïnvloeden, bekijken we de beelden met drie paar ogen onafhankelijk van elkaar. Achteraf gaan we wel met elkaar in gesprek en kijken we naar eventuele verschillen tussen onze waarnemingen. Heeft iemand een pigmentvlekje over het hoofd gezien of oordeelt hij dat het iets anders was? Daar hebben we het dan over”, legt hij uit.  

In de video legt NFI-deskundige Arnout Ruifrok uit hoe software helpt om gezichten te vergelijken.

De beeldonderzoekers gebruiken naast hun getrainde ogen, nu ook software voor het vergelijken van gezichten op afbeeldingen. De software geeft een getal tussen de 0 en 1. Hoe dichter bij de 1, hoe meer overeenkomsten de software ziet. Het is een project waar Ruifrok jaren mee is bezig geweest. Hij werkt sinds  2002 bij het NFI. “Ik werkte toen aan het zogeheten orenproject, waarbij we keken naar oorafdrukken op een plaats delict.” Niet veel later kwam hij op zijn huidige plek terecht als beeldonderzoeker. “Ook toen was er al software die gezichten op foto’s kon vergelijken, maar die was lang niet zo goed als de huidige. Sindsdien ben ik al bezig om een database aan te leggen met verschillende soorten foto’s van gezichten. Er zitten foto’s in die al bijna vijftien jaar oud zijn”, vertelt de beeldonderzoeker.

Slechte kwaliteit foto’s

Toch zou het dus tot 2022 duren voor hij de software ook in forensisch onderzoek kon inzetten.  Dat heeft mede te maken met de slechte kwaliteit foto’s waar ze bij veel beeldvergelijkingen mee te maken krijgen. “De software is zo gemaakt, dat het vooral goed werkt als je twee foto’s hebt van goede kwaliteit. Maar het beeldmateriaal waar wij mee werken is soms geblurd, heeft een slechte belichting of is vanuit een vreemde hoek gemaakt. Stop je zo’n slechte kwaliteit foto in de software dan matcht deze vooral goed met andere slechte kwaliteit foto’s, maar niet met een goede foto van die persoon”, schetst hij. Dat komt omdat de software zich dan niet richt op de gezichten op beide ‘slechte’ foto’s, maar op de belabberde kwaliteit van de foto in z’n algemeenheid. 

“Er is dus een overeenkomst dat het allebei slechte foto’s zijn, maar dat zegt niets over of de gezichten op de foto overeenkomen. En dat is nou juist wat we wél willen weten.” Dus moest hij iets bedenken zodat de software goed met de ‘slechte’ foto’s om kon gaan. Daar zijn jaren en jaren aan werk in gaan zitten. Het komt er bij deze methode kortweg op neer dat hij eerst de kwaliteit van de foto bepaalt voor hij deze foto laat vergelijken. 

Dit doet hij door de foto te vergelijken met een andere database vol foto’s van verschillende kwaliteiten. Het gaat hier om foto’s van mensen die daar expliciet toestemming voor hebben gegeven. Die foto’s zijn allemaal gelabeld, van heel goede kwaliteit tot heel slechte kwaliteit. Net zoals bij de energielabels van huizen: van A -heel zuinig- tot G –niet zuinig. “Daarna kijk ik hoe goed foto’s van dat label over het algemeen matchen met goede referentiefoto’s en wat voor score daar gemiddeld uitkomt”, legt hij uit. Vervolgens kijkt hij hoe hoog de score van de vergelijking van de betwiste foto met de referentiefoto is en kent hij daar een bewijskracht aan toe. “Wij zeggen niet: ‘het is dezelfde persoon’. Dat is niet aan ons, maar aan de rechter. Wel zeggen we in onze rapporten: het is extreem veel waarschijnlijker om deze mate van overeenkomst te vinden als de persoon op de betwiste beelden de verdachte is dan als deze persoon een willekeurig ander persoon is”, legt hij uit. 

Fanatiek

Er is nu dus naast de mens ook de machine die gezichten met elkaar kan vergelijken. Maar dat ging niet van de een op andere dag. “Ik heb hier lang aan gewerkt en me in de coronatijd er volledig op kunnen focussen. Ik was er fanatiek mee bezig en dat werd thuis niet altijd gewaardeerd”, zegt ie met een lach. Betekent de goedwerkende en gevalideerde software dat zijn werk als beeldonderzoeker erop zit? “Zeker niet! De menselijke check blijft ook hier onmisbaar.” Zijn stralende ogen verraden bovendien dat hij het werk nog veel te leuk vindt. “De samenwerking tussen mens en machine, vind ik bijzonder.” En juist ook het werken met slechte foto’s geeft hem voldoening. “Je kan bij een korrelige foto wel zeggen dat de camera betere beelden moet maken, maar dat kan je op dat moment niet meteen veranderen. Dan zul je het moeten doen met het slechte beeldmateriaal dat je hebt. Als het lukt om toch iets over de kenmerken van het gezicht te zeggen, dan geeft me dat echt voldoening.”