Contents
Als we het hebben over computervisie, wordt het woord “tracking” komt veel voor. Er zijn veel verschillende soorten tracking, afhankelijk van wat je bijhoudt, hoe je het volgt en wat je probeert te bereiken. In dit bericht zullen we het hebben over een paar van die verschillende soorten tracking, hoe ze op een hoog niveau werken en waar je ze voor zou kunnen gebruiken. Dit bericht gaat niet over volgtechnologieën waarbij sensoren aan een object moeten worden bevestigd – zoals RFID-tags.
Skelettracking
Het volgen van skeletten bestaat al een tijdje en is iets dat je waarschijnlijk eerder bent tegengekomen, mogelijk zonder het te beseffen. De Microsoft Kinect was een van de eerste consumentenvoorbeelden van skelet-tracking, waarbij de gegevens van menselijke bewegingen werden gebruikt om te communiceren met games.
Skelet-trackingsystemen gebruiken meestal dieptecamera's voor de meest robuuste realtime resultaten, maar het’ Het is ook mogelijk om 2D-camera's met open source-software te gebruiken om skeletten te volgen bij lagere framesnelheden.
In eenvoudige bewoordingen identificeren algoritmen voor het volgen van skeletten of skeletten de aanwezigheid van een of meer mensen en waar hun hoofd, lichaam en ledematen zich bevinden. Sommige systemen kunnen ook handen of specifieke gebaren volgen, hoewel dit niet geldt voor alle skeletvolgsystemen. De meeste kunnen een aantal gewrichten identificeren, bijvoorbeeld schouders, ellebogen, polsen. Het systeem trekt dan lijnen tussen alle geïdentificeerde gewrichten en laat ook iets zien dat het hoofd/nek voorstelt.
Door dieptecamera's van welke aard dan ook te gebruiken, kan het skeletvolgsysteem ondubbelzinnig maken tussen overlappende of afgesloten objecten of ledematen, en het systeem robuuster maken voor verschillende lichtomstandigheden dan een uitsluitend op 2D-camera gebaseerd algoritme. Er zijn tegenwoordig een aantal skelet-trackingoplossingen die Intel® RealSense™ dieptecamera's.
Voor een meer diepgaande kijk op skelet-tracking, bekijk deze talk van Philip Krejov over body-tracking in VR/AR met Intel® RealSense™ dieptecamera's.
Gebaren volgen en Handen volgen
Vaak verward met elkaar, hebben gebaren volgen en hand volgen dingen gemeen – beide stellen een gebruiker in staat om met hun handen te communiceren met een of andere vorm van digitale inhoud. Gebaren volgen kan echter meestal worden beschouwd als beperkt tot specifieke handvormen en gebaren, bijvoorbeeld een vuist, OK-handgebaar of open handpalmgebaar. Het voordeel van een dergelijk systeem is dat de gebaren meestal met veel vertrouwen kunnen worden herkend, het nadeel is dat menselijke gebruikers over het algemeen niet meer dan vijf gebaren kunnen onthouden en waar ze voor staan – het duurt veel langer om een gebruiker te trainen voor een complexer systeem met meer gebaren zonder dat de gebruiker in de war raakt.
Handen met voorbeeld overlay voor het volgen van vingers.
Een handvolgsysteem is meestal dubbelzinniger dan een gebarenvolgsysteem – vergelijkbaar met het volgen van het skelet, worden in veel handvolgsystemen de gewrichten en botten van de vingers geïdentificeerd, opnieuw, meestal met behulp van een soort dieptecamera om te helpen bij occlusie en dubbelzinnige situaties zoals een vinger die over een andere wordt gekruist. Handvolgsystemen maken ingewikkeldere interacties met digitale inhoud mogelijk dan gebarensystemen, omdat individuele vingers op verschillende manieren met virtuele inhoud kunnen communiceren, zoals objecten duwen of verplaatsen, ze schalen, op virtuele knoppen drukken en meer.
Object volgen
Objecttracking heeft twee afzonderlijke functies die er gewoonlijk mee worden geassocieerd, objectdetectie en classificatie, gevolgd door volgen waar dat object naartoe beweegt. Er zijn verschillende methoden om objecten te detecteren, met behulp van een variatie van machine learning of deep learning. Zoals we in het verleden hebben besproken, omvat machine learning het trainen van een systeem op duizenden afbeeldingen die zijn geclassificeerd en getagd en die gegevens gebruiken om onbekende objecten in nieuwe afbeeldingen te identificeren. Je kunt een systeem uitproberen dat elke afbeelding identificeert die je uploadt of waarnaar je linkt door deze ondertitelbot te bezoeken.
Voor video- of live camerafeeds kan een object dat eenmaal is gedetecteerd op dezelfde manier van frame tot frame worden gevolgd, waardoor een begrenzingskader rondom het object de beweging ervan kan volgen, bijvoorbeeld door een voertuig van frame tot frame te volgen in een video.
Mensen volgen
Het volgen van mensen kan worden gezien als een subset van het volgen van objecten of het volgen van het skelet, afhankelijk van het einddoel van een mensenvolgsysteem – is het doel om het aantal shoppers in een winkel bij te houden, of om hen in staat te stellen te communiceren met digitale borden terwijl ze voor hen rondlopen? Afhankelijk van uw gebruikssituatie, zou u ofwel de methodes voor het volgen van gebaren of het skelet gebruiken, ofwel de methoden voor het volgen van objecten om ‘persoon’ binnen een frame.
Straatbeeld met objectherkenningskaders rond mensen en voertuigen.
Eye-tracking/Blik-tracking
Eye-tracking en gaze-tracking zijn methoden waarmee iemand met een digitaal systeem kan communiceren met alleen zijn ogen, of zijn ogen en combinaties van andere technologie. Een eye-trackingsysteem omvat camera's (diepte of andere) die ofwel op iemands gezicht zijn gericht of dichter op hun ogen. Door te volgen hoe het oog (met name de pupil) beweegt, kan de richting van iemands blik worden gemeten. Dit is handig bij algemene analyses; kunnen volgen waar iemand binnen een applicatie kijkt, kan waardevolle inzichten in de gebruikerservaring opleveren. Het is ook nuttig in toegankelijkheidsoplossingen, omdat eye-tracking de noodzaak om een muis te gebruiken voor interactie met een scherm kan verminderen of wegnemen, iets wat bijvoorbeeld veel comfortabeler kan zijn voor gebruikers met carpale tunnelproblemen. Eyeware is software die Intel® RealSense™ D400-serie dieptecamera's voor oog- en bliktracking.
SLAM-tracking
Gelijktijdige lokalisatie en mapping, of SLAM is een ander concept dan alle andere tot nu toe genoemde tracking. Het grote verschil is dat SLAM-apparaten hun eigen beweging volgen ten opzichte van de wereld, in plaats van de beweging van objecten binnen het gezichtsveld van de camera te volgen. SLAM-apparaten zoals de Intel® RealSense™ Tracking Camera T265 gebruikt een combinatie van traagheidssensoren en visuele input van twee camera's om zijn eigen beweging in de ruimte nauwkeurig te volgen. Dit soort technologie is uiterst nuttig in virtual en augmented reality-headsets – zowel de Microsoft Hololens als de Oculus Rift S en Oculus Quest gebruiken hun eigen versies van SLAM – soms ook wel inside-out tracking genoemd. Het is ook erg handig voor robotica en drones, omdat als je weet waar iets is en hoe het in een ruimte beweegt, het nauwkeurig door de wereld kan navigeren.
