Sensorfusie is een populaire toepassing voor Lattice FPGA's, en die specifieke toepassing is vaak een onderwerp van discussie onder marketingteamleden hier bij Lattice. Vanwege hun lage stroomverbruik en kleine formaat worden Lattice FPGA's vaak gebruikt voor sensorfusie in Edge-toepassingen. Maar een recent gesprek tussen ons twee illustreerde dat wat een 'Edge-toepassing' definieert, kan verschillen tussen eindmarkten, en een blogpost waarin die verschillen worden onderzocht, zou informatief kunnen zijn.
Een industrieel ingenieur die in een fabriek werkt, kan “the Edge” opvatten als een verwijzing naar de grens tussen de fysieke wereld, in de vorm van een machine op een productielijn, en de niet-fysieke wereld, in de vorm van het fabrieksintranet en/of of internetten. In dit geval kan wat de technicus beschouwt als een Edge-apparaat bestaan uit sensoren, actuatoren en een besturingssysteem dat wordt gebruikt om de toestand van een machine te bewaken en zo nodig corrigerende acties uit te voeren. Vaak beschikt zo'n apparaat over een soort cognitief (redeneren, denken) vermogen in de vorm van kunstmatige intelligentie (AI).
Neem bijvoorbeeld het geval van machineonderhoud, waarvoor verschillende strategieën kunnen worden gebruikt, waaronder reactief, preventief en voorspellend. In het geval van reactief onderhoud is het de bedoeling om de machine te laten draaien totdat deze uitvalt en deze vervolgens te repareren. De aantrekkingskracht van deze strategie is dat je de machine meestal kunt vergeten. Het probleem is dat wanneer de machine faalt, deze de hele productielijn kan verstoren, waardoor een potentieel klein probleem als paddenstoel een groot probleem wordt. In het geval van preventief onderhoud wordt de machine onderhouden en worden geselecteerde onderdelen vervangen, op basis van een tijdschema of een aantal draaiuren. Het voordeel van deze strategie is dat de machine doorgaans lange, lange tijd zonder problemen zal draaien. Het probleem zijn de kosten die gepaard gaan met het vervangen van onderdelen voor hun tijd en de middelen die nodig zijn om mogelijk onnodige onderhoudstaken uit te voeren. Als het gaat om voorspellend onderhoud, is het de bedoeling dat het Edge-apparaat zijn AI gebruikt om de gezondheid van de machine te bewaken, te zoeken naar afwijkingen of trends, en vervolgens het onderhoudsteam te begeleiden om mogelijke problemen aan te pakken voordat ze uitgroeien tot echte problemen.
Ter vergelijking: een auto-ontwerper kan heel goed een heel voertuig beschouwen als zijnde op de rand. In dit geval kan het voertuig beschikken over verschillende geavanceerde rijhulpsystemen (ADAS), samen met autonome mogelijkheden en functies, die afhankelijk zijn van het verzamelen van gegevens van talloze sensoren, waaronder beeld (camera), lidar, radar, ultrasoon en verre infrarood (FIR) apparaten. Ondertussen is het de taak van de verschillende AI-systemen voor auto's om de bestuurder te helpen rijden zonder iets of iemand te raken, en om het voertuig en zijn menselijke lading te beschermen tegen ongevallen en ongelukken.
Een typische aanvulling van autosensoren die worden gebruikt voor ADAS en autonome toepassingen.
Op dezelfde manier dat de term 'Edge' verschillende dingen kan betekenen voor verschillende mensen, kan de term 'sensorfusie' dat ook betekenen .” In de meest algemene zin is sensorfusie het proces van het combineren van sensorische gegevens die zijn afgeleid van ongelijksoortige bronnen, zodat de resulterende informatie minder onzeker is dan mogelijk zou zijn wanneer deze bronnen afzonderlijk zouden worden gebruikt.
Een vorm van sensorfusie omvat het combineren van de gegevens van sensoren zoals versnellingsmeters, gyroscopen en magnetometers om te profiteren van hun sterke punten en om hun zwakke punten te corrigeren. In het geval van dit soort sensoren kunnen we het hebben over drie assen: de X-as, de Y-as en de Z-as.
De X-, Y- en Z-assen.
Voor elk van deze assen zijn twee soorten beweging mogelijk: lineair en hoekig (roterend). In het geval van lineaire beweging is beweging mogelijk van links naar rechts langs de X-as, op en neer langs de Y-as en voorwaarts en achterwaarts langs de Z-as. Deze kunnen worden beschouwd als drie vrijheidsgraden (3DOF). Ter vergelijking: in het geval van hoekbeweging is het mogelijk om rond een of meer van de X-, Y- en Z-assen te roteren, waardoor een andere 3DOF ontstaat. Op basis hiervan zouden we kunnen zeggen dat elk klassiek fysiek systeem maximaal 6DOF kan hebben, omdat er maar zes verschillende manieren zijn waarop het systeem zich in de driedimensionale (3D) ruimte kan verplaatsen.
Naast beweging, die we kunnen bepalen door de verschillen tussen de waarden van alle mogelijke DOF's tussen twee tijden te meten (laten we ze tn en tn+1 noemen) en dit proces steeds weer te herhalen, zijn we misschien ook geïnteresseerd in oriëntatie (dat wil zeggen, de fysieke positie of richting van het object in kwestie ten opzichte van iets anders), wat we kunnen bepalen door de waarden van alle mogelijke DOF's op een bepaald moment te kennen tn.
Een 3-assige versnellingsmeter meet lineaire beweging langs de X-, Y- en Z-assen. Ter vergelijking: een 3-assige gyroscoop meet hoekrotatie rond de X-, Y- en Z-assen. Ook kan een 3-assige magnetometer detecteren waar de sterkste magnetische kracht vandaan komt in de context van de X-, Y- en Z-assen. Magnetometers worden meestal gebruikt om het magnetische veld van de aarde te detecteren, maar ze kunnen indien nodig ook worden gebruikt om door mensen gemaakte magnetische velden te meten.
Elk type sensor heeft zijn eigen sterke en zwakke punten. Versnellingsmeters worden bijvoorbeeld beïnvloed door trillingen en niet door magnetische velden, terwijl magnetometers niet worden beïnvloed door trillingen, maar kunnen worden verward door verdwaalde elektromagnetische velden. De gegevens van versnellingsmeters kunnen worden gebruikt om rotatie-informatie af te leiden, maar gyroscopen bieden veel nauwkeurigere rotatieresultaten. Aan de andere kant zijn gyroscopen ook onderhevig aan “drift”, wat geen probleem is met versnellingsmeters en magnetometers.
Dus, conceptueel, omvat het laagste niveau van sensorfusie het bewaken van de output van alle drie typen van sensoren en het gebruik van de gegevens van elk paar om fouten in het derde lid van de trojka te corrigeren.
Het volgende niveau van sensorfusie omvat het combineren van de gegevens van meerdere sensoren om “situationeel bewustzijn” te bieden dat kan worden gebruikt om het begrip van het systeem over wat er in de echte wereld gebeurt te verfijnen, waardoor het betere beslissingen kan nemen. Denk bijvoorbeeld aan vroege draagbare fitnessapparaten. Hoewel ze redelijk nauwkeurig waren in het meten van het aantal stappen dat op een stevige vloer werd gezet, hadden ze de neiging om in de war te raken door fitnessapparaten zoals loopbanden, en een korte rit op een roltrap zou gemakkelijk kunnen worden geteld als een extra 1.000 passen. Ter vergelijking: moderne equivalenten gebruiken de combinatie van sensorfusie en AI om externe ruis weg te filteren, om te bepalen of de drager loopt, rent, fietst, zwemt, enz., en om alleen legitieme trainingsactiviteiten te tellen.
In het geval van auto's kan een ander type sensorfusie het verzamelen en op tijd afstemmen van de gegevens van meerdere sensoren zijn — camera, lidar, radar, enz. — dat wordt gepresenteerd aan AI-systemen die kunnen vergelijken wat de verschillende sensoren rapporteren en extra voorzichtigheid vragen als de conclusies van de individuele sensoren het niet eens zijn.
Het is niet verrassend dat de meeste vormen van sensorfusie de manipulatie van grote hoeveelheden realtime gegevens met een zeer lage latentie vereisen. Traditionele von Neumann-processorarchitecturen zijn niet bij uitstek geschikt voor deze taak. Ter vergelijking: field-programmable gate arrays (FPGA's) — zoals Lattice CrossLink™-NX-apparaten — zijn ideaal voor sensorfusietoepassingen omdat hun programmeerbare structuur kan worden geconfigureerd om sensorverwerkingsalgoritmen op een massaal parallelle manier uit te voeren.
Bovendien bevatten CrossLink-NX FPGA's twee geharde 4-baans MIPI D-PHY-transceivers met een snelheid van 10 Gbps per PHY, waardoor deze apparaten de beste prestaties in hun klasse kunnen leveren voor vision-verwerking, sensorfusie en AI-inferentietoepassingen.
De “room op de taart” is dat CrossLink-NX FPGA's volledig worden ondersteund door de Lattice mVision™- en sensAI™-oplossingen. De Lattice mVision-oplossingenstack bevat alles wat ontwerpers van embedded vision-systemen nodig hebben om op FPGA gebaseerde embedded vision-applicaties te evalueren, ontwikkelen en implementeren, zoals machine vision, robotica, ADAS, videobewaking en drones. Ondertussen bevat de volledige Lattice sensAI-oplossingenstack wat ontwikkelaars nodig hebben om op FPGA gebaseerde AI/ML-applicaties te evalueren, ontwikkelen en implementeren.
Het uitvoeren van sensorfusie (in een van zijn incarnaties) aan de Edge ( wat u ook denkt dat dat is) is voordelig in termen van het snel verkrijgen van resultaten terwijl de communicatiebandbreedte wordt bespaard, in tegenstelling tot het verzenden van gigantische hoeveelheden gegevens naar de cloud en vervolgens wachten tot de resultaten worden geretourneerd. Bovendien bieden de enorme parallelle verwerkingsmogelijkheden die worden geboden door energiezuinige, krachtige FPGA's '8212; zoals CrossLink-NX-apparaten — betekent dat sensorfusie aan de rand nu zowel haalbaar als betaalbaar is.
Mark Hoopes
Director of Industrial and Automotive Segment Marketing, Lattice Semiconductor
JP Singh
Automotive Segment Marketing Manager, Lattice Semiconductor
