Familiar Faces

Bekend Gezicht (Familiar Faces)
VPRO Noorderlicht / 25 min / 16-11-1999
In London’s East End CCTV camera’s stand on a continuous and automated look-out for suspect individuals on a blacklist. As soon as one of them shows up in front of a camera, an alarm goes off in the surveillance center and an human takes over. Also, the system can compare a photograph or a drawing with millions of faces in a database. Is artificial face recognition really so powerfull? Psycholgists Bruce and Burton remain susicious.

full transcript:

VPRO NOORDERLICHT – MONTAGE
AFLEVERING ‘BEKEND GEZICHT’
UITZENDING 16 NOV 1999
DOOR JOS WASSINK

00:00 LEADER

00:20 CENTRALE MELDKAMER; MONITOREN; CAMERA’S OP STRAAT

COMMENTAAR:
In de strijd tegen straatgeweld rukken videocamera’s gestaag op in het stadsbeeld. Wat dat betreft kon deze wijk in Oost-Londen wel eens model staan voor veel Nederlandse steden in de volgende eeuw.
De camera’s hebben veelal een preventieve werking. Maar dragen videobeelden ook daadwerkelijk bij aan de identificatie van verdachte personen?

AUTOMATISCHE HERKENNING

ADRI VAN AMELSFOORT,
RECHERCHE-OPLEIDING ZUTPHEN:
Als het werkt zoals we hopen dat het gaat werken dan denk ik dat het een forse impuls zal geven aan de oplossing van het aantal zaken. Dus daar waar mensen worden opgenomen en dat gebeurt nogal eens bij overvallen, voetbalrellen, noem maar op, dan hebben wij over een aantal jaren een behoorlijk machtig middel in huis om personen die daarop staan te identificeren.

01:18 GEZICHTENREEKS MET MUZIEK
TITEL OVER BEELD: BEKEND GEZICHT

Z/W OVERVALSCENE VIA BEWAKINGSCAMERA

TOTAAL LINE-UP

COMMENTAAR:
De oudste vorm van identificatie is de line-up. Zet de verdachte tussen een stel figuranten en laat de getuige hem eruit pikken.

RIJER CU’S LINE-UP

COMMENTAAR:
Dat klinkt eenvoudig maar in de praktijk blijken er nog heel wat haken en ogen aan te zitten.

ADRI VAN AMELSFOORT,
RECHERCHE-OPLEIDING ZUTPHEN:
Kijk, ze hebben allemaal keurige schoenen aan, hij heb er geen schoenveters in. Nou elke verdachte op een politiebureau wordt z’n riem, z’n schoenveters en z’n stropdas afgenomen. Dus als je hem zo in de selectie zet is het natuurlijk wel vrij duidelijk dat dit iemand is die op het politiebureau heeft gezeten of vastzit en dus naar alle waarschijnlijkheid wel de dader zal zijn. Dus voor een getuige ontstaat er dan een suggestieve reden om hem aan te wijzen.

SET-UP LINE-UP DOOR VAN AMELSVOORT

ADRI VAN AMELSFOORT (VERVOLG)
Tegenwoordig wordt daar heel scherp op gelet. Dus bij de selectie van de figuranten wordt erop gelet dat er qua uiterlijk, qua lengte, qua postuur dat ze enigszins op de verdachte die we hebben dat ze daarop lijken

OPZET LINE-UP

ADRI VAN AMELSFOORT (VERVOLG)
Vervolgens gaan we de personen kleden zoveel mogelijk in de kleding waarvan gezegd is dat die tijdens het voorval werd gedragen. en dat de kleedwijze ook gelijk is. Zodat waar het af kan wijken dat het alleen om de persoon zelf kan gaan en niet om alle tierelantijnen daar omheen.

LINE-UP VOLGENS DE REGELS

ADRI VAN AMELSFOORT (VERVOLG)
Onze bedoeling is om de procedures zodanig te verbeteren dat het aantal herkenningen stijgt en dat het aantal valse alarms afneemt. Ons streven is er vooral op gericht op dat laatste om zo min mogelijk en het liefst geen verkeerde personen door getuigen te laten aanwijzen.

03:49

PROF VICKY BRUCE
PSYCHOLOGE / UNIVERSITY OF STIRLING:
Well the problem with line-ups is that subjects can be mistaken even when completely sincere. And there were a number of cases of mistaken identity, some quite notorious, which came to the public attention in the UK in the early nineteen seventies which lead to a committee of inquiry chaired by Lord Devlin, who reported on eyewitness identification. There’s quite a good example of it in this report. Here we’ve got a picture of Laszlo Virag where several independent witnesses picked him out either of line-up or from photographs. One of the witnesses said in court: “His face is imprinted on my brain.” And yet it turned out that he didn’t do the crimes that he was accused of. Later on, Georges Payen was apprehended for other crimes and confessed to also having been the person that committed the offences that Laszlo Virag had been accused of.

HERHALING OVERVAL

PROF VICKY BRUCE (VERVOLG)
You might think of course once we’ve got a way of recording what actually happens at an incident, we have a video camera there and it will record all the details of that person committing the crime that this will remove all the problems of person identification. That’s where I think we need to be a bit careful because our research suggests that if you have any image of a face on a videocamera, even if the image quality is quite high, you can still confuse that person with another person that looks quite similar.

05:35 STRAAT-INTERVIEW HERKENNING
– Meneer, even een testje. Herkent u deze man op de zwart-wit foto’s?
– Even kijken hoor. Ik heb het idee dat het deze is, nummer acht.
– Ik denk nummer acht.
– En jij?
– Nummer één.
– Eén of zes.
– Wat denkt u?
– Ik denk eigenlijk geen een.
– Enig idee wie het is?
– Geen idee… Deze of die. Twee of zes.
– Deze, acht.
– Ik vermoed die. Nummer acht.

PROF VICKY BRUCE
PSYCHOLOGE / UNIVERSITY OF STIRLING:
In fact he is there and he is this one down here, in this particular array. On average, you can do this task: is he present here if so which one is he? You can do that task only about 53% accurate over all and we find the number of confusions quite often one person’s face will be regularly confused with one of the other faces seen in the line-up.

06:50 STRAATINTERVIEW: WAAR LET U OP
– Ik keek even naar de lip. Ik denk: ik zie daar iets, maar dat is dus niet zo.
– Nou dat heb hij ook. En die lekkere oortjes heb hij ook. Nou het zijn allemaal stukken vind ik hoor.
– Z’n mond en die lengte van z’n gezicht. Jahaaa!!

PROF VICKY BRUCE (VERVOLG)
The example I showed you used broadcast quality image quality of the person. If we had used the sort of image you’d get off a typical security video camera, and asked you to perform the same task then performance is much much worse.Image quality matters when you’re trying to compare unfamiliar faces but another thing that matters is actual familiarity with the people who are shown.

07:45 INTRODUCTIE GLASGOW

BEWAKINGSCAMERA BEELDEN: MIKE BURTON KOMT BINNEN

PROF MIKE BURTON
PSYCHOLOOG / UNIVERSITY OF GLASGOW
Fairly recently we started to look at the CCTV images because we have a security system in the university where I work. And I was just looking at this one day, it’s just a standard system bought from a local company that supplies many other businesses. And I noticed two things that seemed to me to be true about the system. The first was that the images were extremely poor. So just as in many other security videos the camera is not an an optimum angle, the tapes are used many many times and that degrades quality. Through the day the lighting changes and that affects the quality. So the first thing that I thought was: these are very bad images. But the second thing that I noticed was that nevertheless I could recognise the people in these images. Of course because they’re in my university they’re my colleges, I know the people and it seemed to me that these images despite being so bad were nevertheless recognisable. That started a whole sequence of experiments just to see if this initial observation is actually true.

BEGIN EXPERIMENT MATCHING VIDEO EN FOTO’S

PROF MIKE BURTON TO STUDENT:
OK, in this experiment I’m gonna show you some clips of poeple walking through a video security camera and you’ll also see a photo of someone. And what I’d like you to do is for each photograph and for each clip, just say whether it’s the same person or not. So first clip, you say if it’s this person or not.

PROF MIKE BURTON (VERVOLG)
Now some of these students were familiar with these lecturers because they were people who were taught by them in the same university and so forth. These people are extremely accurate at matching video to the photo. We also tested different sets of students who don’t know the lecturers and again they get the same task. And in this situation, people performed extremely poorly. So, using exactly the same images. The only difference between good performance and bad performance is whether the persons knows the person in the image.

CCTV OPSTELLING IN HAL UNIVERSITEIT

PROF MIKE BURTON (VERVOLG)
If you look at the images, they’re images of a whole body. So it’s possible that people are recognising the clothes somebody wears, maybe their body shape, maybe the way they walk is characteristic in this case. So we tried to find out what is the source of the recognition.

EXPERIMENT: STUDENTE KIJKT NAAR GEDEELTELIJK AFGEBLOKD BEELD EN MOET NAAM PERSONEN NOEMEN:
– Don’t know them.
.. Barry Jones,
.. That’s you..

PROF MIKE BURTON (VERVOLG)
We rather thought that everybody would use anything that they saw to identify. If it’s that jumper, it must be Martin, if it’s that walk, it must be so-and-so. But in stead, in turns out that they don’t. What they use is the head. So when you cover the body, it makes almost no difference. There was almost no effect. People were still extremely good at recognising the face. But when you cover the face. people were very very poor at it. So what that shows is that even in these poor quality videos it is actually the face that people are recognising.

11:40 STOCK TV RIJMOND: FEYENOORDRELLEN 24 APRIL 1999

COMMENTAAR:
Bekenden zijn dus in staat om iemand makkelijk te herkennen van videobeelden. Ook wanneer de persoon in kwestie niet optimaal in beeld gebracht is. Dat verschijnsel kwam een aantal relschoppers bij de huldiging van Feyenoord afgelopen voorjaar duur te staan.

MR CAROLA DE KIMPE
PERSOFFICIER JUSTITIE / PARKET ROTTERDAM
We hadden aan de hand van die beelden gezien wat er allemaal gebeurd was; dat er openlijke geweldpleging was geweest dat er bedreiging en vernieling was gepleegd en we wilden graag weten wie die verdachten waren die zich daaraan schuldig gemaakt hadden. De banden zijn bekeken door mensen van de politie en die hebben al een aantal mensen herkend van die banden en er bleek nog een groep verdachten te zijn, een groep mensen die zich duidelijk hadden misdragen die wij wilden aanhouden als verdachten maar waarvan we niet wisten wie dat waren. En toen is er besloten om gebruik te maken van mogelijkheden om in OPSPORING VERZOCHT die gezichten te laten zien.

D034-10096: STOCK OPSPORING VERZOCHT
UIZENDING 8 JUNI 1998

MR CAROLA DE KIMPE (VERVOLG)
In OPSPORING VERZOCHT zijn toen veertien gezichten getoond. Van die veertien zijn er dertien herkend.
– Dat is een behoorlijke opbrengst.
Ja zeker, ja. Dat is een hele mooie score. De mensen die zijn aangehouden zijn ook allemaal uiteindelijk berecht.

STOCK NOS – TD 36512
PUINHOOP EN AFZETTING NA BOMAANSLAG
LONDEN, 30 APRIL 1999

COMMENTAAR:
Steeds vaker blijken videobeelden voldoende te zijn om de dader op te sporen. Toen op 30 april in Londen een aanslag was gepleegd op een homobar werd de dader aan de hand van straatcamerabeelden herkend. Inderdaad door een bekende: zijn hospita.

KRANTENKNIPSELS MET PORTRETTEN VAN RELSCHOPPERS

COMMENTAAR
Aangespoord door het succes is in Engeland de publicatie van videobeelden inmiddels een veelgebruikt opsporingsmiddel geworden. Maar in de Oost-Londense wijk Newham gaat men nog een stap verder.

14:18 BEELDEN WIJK NEWHAM

COMMENTAAR
Hier worden de straten permanent bewaakt door in totaal 240 camera’s die door de hele wijk heen staan opgesteld.

BOB LACK
OPERATIONS MANAGER NEWHAM
It’s a semi inner London borough, it used to be London’s docklands. Over the last 25 years it slowly degenerated as the docks closed. Crime rates increased as a result of that degeneration. And we’re now trying to regenerate the area and working very hard at that.
The regeneration of the borough and the use of CCTV runs alongside one another and in 1994 there was a decision by the council that CCTV would help and assist the police in reducing crime. We started running in ’94 and had our first system go live in late ’95 early ’96.

17:18 PAN NAAR COMPUTER CONSOLE

COMMENTAAR:
Het meest geavanceerde onderdeel van dit bewakingssyteem is een computer die automatisch gezichten herkent.

TIM PIDGEON
BUSINESS DEVELOPMENT MANAGER / VISIONICS
All the camera’s from the Newham area come back to this control room here and the face recognition system actually integrates with the switching system underneath. It actually operates as an extension to the main control system in the room here.
! ALARM !
It’s just logged on, haha.
– But that’s a man in uniform ?
– That’s a man in uniform because the man we have there is actually a council employee who offered himself as a model in effect for the purpose of this demonstration. In the real world that would have been a member of the public on the street. The only reason they would have been on the system is they would have carried out a crime in the local area and therefore identified as a local criminal.

CU SYSTEEM BIJ HERKENNING

COMMENTAAR
Het herkenningssysteem vergelijkt gezichten op de camera met een bestand van zo’n honderd verdachte personen.

BOB LACK
OPERATIONS MANAGER NEWHAM
Police selects from their own intelligence and from recent convictions the busiest most active group of criminals and they supply the database and the equipment looks for these people and only those people.

TIM PIDGEON
BUSINESS DEVELOPMENT MANAGER / VISIONICS:
The way that the system works, the first thing it actually carries out is to try and find a face from the camera feed that is supplied, which is the window here, when it actually finds a face, it actually displays a red circle around the face to show that a face has been found. What it then does is it carries a a comparison of that face against the database. The area of the face that is works on is the triangular area from the outside corners of the eyes to the base of the nose. Therefore ignores hair on the chin, changes in hair, hats and skin colour. In addition it will actually operate with glasses on or off, as long as you can see the corners of the eyes. Wearing sunglasses of course obviously you can’t see that and would actually deter it from working. But thin glasses and any glasses wide enough to see that area allow it to operate.

CU OGEN MATCHEN

BOB LACK
OPERATIONS MANAGER NEWHAM
We’ve used face recognition primarily as a deterrent. A deterrent for our most active criminals. We’ve got 250.000 people living in this borough and less than 0,4 % of them are criminals, are very active criminals.
I’m informed by our colleges in the police service that the top twelve active criminals that went on initially are no longer top targets, they’ve been removed.
– And where are they now? In prison?
They’re not in prison, so we can say that they are still living and resident in this borough but they’re not criminally active in this borough. They have chosen to either stop their activities or go elsewhere. For the benefit for the people of this borough, that’s a success.

STRAATBEELDEN NEWHAM; MOEDER ACHTER KINDERWAGEN

18:00

ADRI VAN AMELSFOORT,
RECHERCHE-OPLEIDING ZUTPHEN:
Ik zie die ontwikkeling in Nederland ook toenemen. Er zijn dus al proefprojecten gaande: Breda, Bergen op Zoom, Ede, Amsterdam. Er draaien verschillende projecten waar met camera’s aan preventie wordt gedaan. Preventieve maatregelen genomen worden om bijvoorbeeld geweld tegen te gaan. Ik denk dat het zal toenemen, ik denk ook dat het sterk zal toenemen en ik denk ook dat er straks mogelijkheden zullen ontstaan om naast de preventie ook daarmee gaan opsporen.

BEELD CCTV CAMERA IN WINKELCENTRUM

MR CAROLA DE KIMPE
PERSOFFICIER JUSTITIE / PARKET ROTTERDAM
Men is er ook aan gewend dat er in warenhuizen, winkels, banken stadions wordt gebruik gemaakt van camera’s ter beveiliging, ter voorkoming van misdrijven. Misschien dat dat de stap kleiner maakt om op een bepaald moment ook op de openbare weg op straat, in buurten camera’s op te hangen. Dat kan ik niet voorspellen hoe men daarop zal reageren, maar er wordt wel over nagedacht om dat te doen.
Door?
Door de politie en justitie.

GEZICHTENREEKS

19:11

TIM PIDGEON
BUSINESS DEVELOPMENT MANAGER / VISIONICS
Of course the technology can be used in many other ways and many other areas and one of which is the ability to present me with a photograph and I can actually search databases of millions and come back with the top ten matches that I think that particular photograph is.

DEMO ZOEKSYSTEEM
TIM PIDGEON:
I’m gonna search for this face. So just press the search button here. And you see here it’s counting and searching the whole of them. It’s now presented us with it’s top ten results as I requested and the top one is this one here and you will actually note that this is the same individual. Obviously several years apart but it shows what you can now do with the searching.

TIM PIDGEON (VERVOLG)
The current FaceIt engine can now operate at 15 million faces a minute , so a one to many search, we can search at that speed.
And that is destined to grow later this year beyond thirty or forty.
You can also supply artists impressions or composite drawings as long as they are very good and clearly display the features of the face than the system can operate from that as well.

DEMO ZOEKACTIE MET COMPOSITIE TEKENING
TIM PIDGEON:
And again it has presented that as it’s top match. You will see that other individuals have very similar facial characteristics.

MR CAROLA DE KIMPE
PERSOFFICIER JUSTITIE / PARKET ROTTERDAM
Het lijkt me bijzonder nuttig. Het kan in een aantal gevallen heel nuttig zijn als hulpmiddel bij de opsporing en bij de vervolging.

TIM PIDGEON (VERVOLG)
Capture systems from bank raids or CCTV which are low quality, if there is enough information on that face, if we process that image as a source target, if we have between 10 to 25 pixels between the eyes and there’s enough content from the face, we can operate from a low quality.

GEZICHTENREEKS

ADRI VAN AMELSFOORT,
RECHERCHE-OPLEIDING ZUTPHEN
Stel je voor dat je een stadion binnenkomt en je hebt een stadionverbod. Je wordt door het systeem wordt je gematched en je wordt gesignaleerd. Er gaat zeg maar een alarm af met van er komt iemand binnen die een stadionverbod heeft en die halen we eruit.

FACES IN THE CROWD

COMMENTAAR
Maar als mensen zich nogal eens vergissen in de herkenning van gezichten, geldt dat dan ook niet voor computersystemen?

TIM PIDGEON
BUSINESS DEVELOPMENT MANAGER / VISIONICS
It is offering an opinion. It’s gonna say I feel this face is this face and it’s for the human operator to actually make the decision whether it is correct or not. I mean this is a no way a system that.. if it brings up a match, does that person get arrested? All it’s designed to do is work in the background to alert the operators that it feels that this particular individual has just passed by this particular camera. Whether or not it’s correct or not is for you as a human to decide. Pure identification, the simple process.

BEWAKINGSCAMERA VOLGT VOETGANGERS

PROF VICKY BRUCE
PSYCHOLOGE / UNIVERSITY OF STIRLING
One of the interesting questions that arises in the context of artificial face comparison versus natural human face comparisons is that if we have two fallible systems, they both makes mistakes but perhaps not the same mistakes, maybe there is some way to combine the best of both systems. To combine computer judgments and human judgments to optimise.

PROF MIKE BURTON
PSYCHOLOOG / UNIVERSITY OF GLASGOW
Well that’s often how systems work: that one uses computers for things they’re good at, which is speed of data processing and use humans for things that they’re good at, which is recognition. And in fact before our results I had always anticipated that this would be the optimal way of using security surveillance. But in fact in our other work, even with very good quality images it turns out to be hard to match two images of the same person if you’re a human being. So I’m now less confident about that combination than I would have been two years ago before we did those other experiments.

MELDKAMER NEWHAM

BOB LACK
OPERATIONS MANAGER NEWHAM
The greater the amount of electronic wallpaper, the more confusion it is to the four or five operators who may be in this room. What we have found that by selective use of certain camera’s and selective use of technology, the technology can do the job of the human being to the point of recognition and then refer it back to the human being. And what I see in four or five years time is possibly much more use of black screen technology that is working on a camera, the camera is being viewed in the background by the technology, and the operator is alerted to the presence of someone or a vehicle by the technology. So you can remove some of the electronic wallpaper and be more selective on the camera’s we are working with. That’s how I see the future.

23:45 GEZICHTSREEKS EN ROLTITEL:

SAMENSTELLING & REGIE Jos Wassink

RESEARCH Monique van de Water
Ger Wieberdink

CAMERA Jackó van ’t Hof
GELUID Ludo Keeris

MONTAGE Marion Hekking
MIXAGE Jack Bol
KLEURCORRECTIE ……………….
LEADER Bob Takes
COMMENTAAR Tessel Blok
REDACTIE Hansje van Etten
Harriet Leget
Hilbert Kamphuisen
Simon Rozendaal
Karin Schagen
Annemiek Smit
Marjan Tjaden
Jacqueline de Vree
Jos Wassink
Ger Wieberdink

CASTING FTV, Rotterdam

MMV TELEAC – NOT
TV Rijnmond
AVRO’s Opsporing Verzocht
Snackbar Supersnack
Snackbar Beuseker
Kledingzaak Broekenbinkie
Freek Nomden
PRODUCTIE Madeleine Somer
Karin Spiegel
EINDREDACTIE Rob van Hattum
Copyright VPRO 1999

dutch version—>