Een van de meest intrigerende nieuwe toepassingen van technologie is om machines het vermogen te geven om te zien, iets dat machinevisie of embedded vision wordt genoemd. Dankzij de goedkope en brede beschikbaarheid van camerasensoren, nieuwe ontwikkelingen op het gebied van kunstmatige intelligentie en algoritmen voor machine learning, en de creatie van halfgeleiderchips die zijn geoptimaliseerd om deze workloads uit te voeren, is het nu relatief eenvoudig en goedkoop om intelligent zicht toe te voegen aan een enorme verscheidenheid van apparaten. In feite zijn toepassingen, variërend van industriële machines tot autosystemen en consumentenelektronica, begonnen met het integreren van embedded vision-mogelijkheden in hun producten.
Op een hoog niveau is ingebedde visie bedoeld om net als onze eigen menselijke visie te functioneren. Sensoren in de vorm van kleine camera's “zien” objecten om hen heen, net zoals onze ogen dat voor ons doen, en dan worden die signalen doorgegeven aan een computer “brein” dat interpreteert wat het ziet en dienovereenkomstig actie onderneemt. Het is een krachtige technologie die pas recent veel dichter bij sciencefiction dan de realiteit stond, maar nu al een breed scala aan mogelijkheden begint mogelijk te maken. In voertuigen bijvoorbeeld maakt de combinatie van camerasensoren, software en gespecialiseerde chips auto's 'intelligent' doordat ze objecten in de omgeving om hen heen kunnen herkennen en dienovereenkomstig kunnen reageren. Het is natuurlijk van cruciaal belang voor zoiets als volledig autonome auto's, maar deze ingebouwde zichtmogelijkheden zorgen ook voor belangrijke nieuwe rijhulpfuncties in de nieuwe voertuigen van vandaag, zoals automatisch remmen, het vermijden van rijstrookafwijkingen en meer.
In consumentenproducten zoals beveiligingscamera's of slimme deurbellen, verfijnt embedded vision-mogelijkheden de producten, zodat u bijvoorbeeld niet elke keer dat uw hond door het huis rent een indringerwaarschuwing krijgt. Dankzij ingebouwde “intelligentie” herkennen deze camera's nu de hond, begrijpen ze dat het geen bedreiging is en voorkomen ze onnodige waarschuwingen die de functionaliteit en betrouwbaarheid van het systeem aantasten. In industriële omgevingen wordt embedded vision gebruikt om dingen te doen zoals het snel sorteren van items of het zoeken naar visuele gebreken in een aanzienlijk sneller en efficiënter tempo dan een mens, waardoor de kosten worden verlaagd en de kwaliteit wordt verbeterd.
In de afgelopen jaren zijn er talloze benaderingen gevolgd voor het herkennings- en interpretatiegedeelte van embedded vision-werk, en er zijn verschillende soorten chiparchitecturen gebruikt om deze mogelijkheden aan te drijven. Veel van de eerste pogingen waren erg duur en hongerig. Dit maakte ze ongeschikt voor toepassingen waarbij de kosten van cruciaal belang waren of voor toepassingen die een betere energie-efficiëntie nodig hadden, misschien omdat ze op batterijen werkten. Het blijkt echter dat low-power FPGA's (field-programmable gate arrays) een ideale match zijn gebleken voor veel van dit werk.
Dankzij hun vermogen om te worden geprogrammeerd en vervolgens opnieuw te worden geprogrammeerd om specifieke taken zeer efficiënt uit te voeren (zie “Een FPGA-primer” voor meer), zijn FPGA's een uitstekend hulpmiddel voor machine vision-toepassingen in vele stadia van de productlevenscyclus. Tijdens de initiële productontwikkeling zijn embedded vision-softwarealgoritmen in een bijna constante staat van evolutie en verfijning, dus de vereisten voor de hardware die bedoeld is om ze uit te voeren, kunnen ook snel evolueren. De “herprogrammeerbaarheid” van FPGA's maakt ze de perfecte keuze in deze snel veranderende omgevingen. En zelfs wanneer de productspecificaties zijn voltooid, wordt er nog steeds gewerkt aan het verbeteren en ontwikkelen van de algoritmen om de prestaties verder aan te passen, waardoor de flexibele architecturen van FPGA's erg belangrijk zijn. In sommige gevallen maakt deze flexibiliteit het zelfs mogelijk om gedurende de levensduur van het product nieuwe mogelijkheden toe te voegen. Nieuwe versies van de algoritmen en architecturale aanpassingen aan de FPGA's kunnen via over-the-air updates worden ingevoerd.
Naast deze architecturale basisvoordelen, maken extra functies van bepaalde FPGA's het mogelijk om ingebouwde vision-mogelijkheden toe te voegen aan bestaande ontwerpen. De nieuwe Crosslink-NX FPGA's van Lattice Semiconductor hebben bijvoorbeeld ingangen voor meerdere sensor- of camera-ingangen, waardoor er veel geavanceerdere systemen mee kunnen worden gebouwd. Veel low-power CPU's hebben slechts één sensor/camera-ingang, wat hun mogelijkheden voor bepaalde toepassingen beperkt. Bovendien fungeren FPGA's vaak als een brugapparaat dat tussen de camerasensoren en de CPU zit, waardoor essentiële connectiviteit tussen beide wordt geboden, waardoor de CPU zich kan concentreren op de taken die hij moet doen en de FPGA's het beeldinterpretatiewerk laten doen. Voor tijdgevoelige toepassingen hebben FPGA's ook het extra voordeel dat ze een bepaalde functie altijd in precies dezelfde hoeveelheid tijd kunnen uitvoeren. Voor systemen die een CPU proberen te gebruiken om het beeldherkenningswerk te doen, kan de machine vision-taak, afhankelijk van wat de CPU op een bepaald moment nog meer moet doen, in een wachtrij worden geplaatst die de timing van wanneer het werk is klaar.
Met de juiste soort interfaces en softwaretools is het ook mogelijk om FPGA-aangedreven embedded vision-“modules” te integreren in bestaande machine- of apparaatontwerpen. Dankzij de lange geschiedenis van Lattice met interface-bridging biedt het bedrijf bijvoorbeeld dit soort modules met geïntegreerde ondersteuning voor de goedkope MIPI-standaard (Mobile Industry Processor Interface). De MIPI-standaard wordt vaak gebruikt om verbinding te maken tussen de processor en beeldsensoren in smartphones en miljoenen andere apparaten. Als gevolg hiervan is het voor bedrijven aanzienlijk eenvoudiger en goedkoper om dit soort modules in hun producten te integreren, waardoor ze in wezen slimme visie aan hun machines kunnen 'toevoegen'.
Hardware is natuurlijk slechts een van de essentiële onderdelen die nodig zijn om een embedded vision-systeem te implementeren. Om ervoor te zorgen dat ontwikkelaars de ontwerpsoftware en andere middelen hebben die ze nodig hebben om snel en eenvoudig embedded vision-systemen te ontwikkelen, biedt Lattice oplossingenstapels die de vereiste hardware, ontwerpsoftware, IP-portfolio en referentieontwerpen bundelen. Voor de embedded vision-markt noemt Lattice hun aanbod de mVision-oplossingenstack, en het geeft klanten alles wat ze nodig hebben om een embedded systeem te bouwen dat opkomende technologieën kan ondersteunen. Hoewel het gemakkelijk is om deze software-elementen over het hoofd te zien, is de waarheid dat de meeste bedrijven niet veel ervaring hebben met embedded vision. Als gevolg hiervan is de mVision-stack een essentieel onderdeel om het proces van het ontwerpen, gebruiken en integreren van deze mogelijkheden zo eenvoudig mogelijk te maken.
De mogelijkheden om meer 'smarts' en intelligentie naar machines en apparaten te brengen is iets wat vrijwel elke fabrikant van industriële of consumentenapparatuur nu onderzoekt en het potentieel voor nieuwe toepassingen van embedded vision explodeert. Het kost wat moeite om dingen op gang te krijgen, maar door eenvoudige kits te hebben om dingen op gang te brengen, kunnen bedrijven hun 'visie' sneller werkelijkheid gaan maken dan ze zich waarschijnlijk ooit hadden kunnen voorstellen.
Bob O'Donnell
President en hoofdanalist, TECHnalysis Research, LLC
