Contents
Vooruitgang in edge computing moet innoveren voor autonome voertuigen om hun potentieel te realiseren
Grote aantallen sensoren, enorme hoeveelheden gegevens, steeds toenemende rekenkracht, realtime werking en beveiligingsproblemen die nodig zijn voor autonome voertuigen, drijven de kern van de berekening van de cloud naar de rand van het netwerk. Autonome voertuigen zijn voortdurend bezig met het detecteren en verzenden van gegevens over de toestand van de weg, de locatie en de omliggende voertuigen. Zelfrijdende auto's genereren ongeveer 1 GB aan data per seconde – het is onpraktisch om zelfs maar een fractie van de terabytes aan gegevens voor analyse naar een gecentraliseerde server te sturen vanwege de verwerkingsbandbreedte en latentie.
Vanwege het grote volume aan gegevensoverdracht, latentieproblemen en beveiliging, belemmert de huidige architectuur van cloud computing-services de visie om realtime kunstmatige-intelligentieverwerking te bieden voor auto's zonder bestuurder. Zo kan deep learning, als de belangrijkste vertegenwoordiger van kunstmatige intelligentie, worden geïntegreerd in edge computing-frameworks. Edge AI-computing pakt latentiegevoelige monitoring aan, zoals het volgen en detecteren van objecten, locatiebewustzijn, evenals uitdagingen op het gebied van privacybescherming waarmee het cloud computing-paradigma wordt geconfronteerd.
De echte waarde van edge AI-computing kan alleen worden gerealiseerd als de verzamelde gegevens lokaal kunnen worden verwerkt en beslissingen en voorspellingen in realtime kunnen worden gemaakt zonder afhankelijk te zijn van externe bronnen. Dit kan alleen gebeuren als de edge computing-platforms vooraf getrainde deep learning-modellen kunnen hosten en over de rekenbronnen beschikken om lokaal realtime inferentie uit te voeren. Latentie en lokaliteit zijn sleutelfactoren aan de rand, aangezien vertragingen bij het gegevenstransport en stroomopwaartse serviceonderbrekingen ondraaglijk zijn en veiligheidsproblemen veroorzaken (ISO26262) voor auto's zonder bestuurder. De camerasensoren op een voertuig moeten bijvoorbeeld de omgeving kunnen detecteren en herkennen zonder afhankelijk te zijn van computerbronnen in de cloud binnen 3 ms en met een hoge betrouwbaarheid (99,9999%). Voor een voertuig met een snelheid van 120 km/u komt een retourvertraging van 1 ms overeen met 3 cm tussen een voertuig en een statisch object of 6 cm tussen twee bewegende voertuigen.
Momenteel zijn de meeste bestaande AI-computertaken aan boord voor autonome voertuigtoepassingen, waaronder objectdetectie, segmentatie, wegdektracking, bord- en signaalherkenning, voornamelijk afhankelijk van hardware voor algemene doeleinden – CPU's, GPU's, FPGA's of generieke processors. Stroomverbruik, snelheid, nauwkeurigheid, geheugenvoetafdruk, matrijsgrootte en stuklijstkosten moeten echter allemaal in overweging worden genomen voor autonoom rijden en embedded toepassingen. Een hoog stroomverbruik van GPU's, vergroot door de koelbelasting om te voldoen aan de thermische beperkingen, kan het rijbereik en het brandstofverbruik van het voertuig aanzienlijk verminderen. Mooie verpakkingen, ventilatorkoeling en implementaties voor algemene doeleinden moeten verdwijnen. Daarom is er behoefte aan goedkopere, energiezuinigere en geoptimaliseerde AI-acceleratorchips zoals domeinspecifieke AI-gebaseerde inferentie-ASIC als een praktische oplossing voor het versnellen van deep learning-inferenties aan de edge.
Voordelen van edge computing voor AI automotive
Er zijn de laatste tijd aanzienlijke inspanningen geleverd om de veiligheid en efficiëntie van voertuigen te verbeteren. Vooruitgang in voertuigcommunicatie en 5G-voertuig naar alles (V2X) kan nu betrouwbare communicatieverbindingen tussen voertuigen en infrastructuurnetwerken (V2I) bieden. Edge-computing is het meest geschikt voor bandbreedte-intensieve en latentiegevoelige toepassingen zoals auto's zonder bestuurder waar onmiddellijke actie en reactie vereist zijn om veiligheidsredenen.
Autonome rijsystemen zijn extreem complex; ze integreren veel technologieën nauw, waaronder detectie, lokalisatie, perceptie, besluitvorming, evenals de soepele interacties met cloudplatforms voor het genereren van high-definition (HD) kaarten en gegevensopslag. Deze complexiteiten stellen tal van uitdagingen voor het ontwerp van autonome, rijdende edge-computersystemen.
Vehicular edge computing (VEC)-systemen moeten een enorme hoeveelheid gegevens in realtime verwerken. Omdat VEC-systemen mobiel zijn, hebben ze vaak zeer strikte beperkingen op het gebied van energieverbruik. Het is dus absoluut noodzakelijk om voldoende rekenkracht te leveren met een redelijk energieverbruik, om de veiligheid van autonome voertuigen te garanderen, zelfs bij hoge snelheid.
De overkoepelende uitdaging bij het ontwerpen van een edge computing-ecosysteem voor autonome voertuigen is het leveren van realtime verwerking, voldoende rekenkracht, betrouwbaarheid, schaalbaarheid, kosten en beveiliging om de veiligheid en kwaliteit van de gebruikerservaring van de autonome voertuigen te waarborgen.
Vergelijking tussen vehicular edge computing en vehicular cloud computing
Lage latentie
Nul (lage) latentie voor autoveiligheid is een must. Veel van de fabrikanten van zelfrijdende auto's voorzien dat sensorgegevens naar de cloud zullen stromen voor verdere gegevensverwerking, deep learning, training en analyse die nodig zijn voor hun zelfrijdende auto's. Hierdoor kunnen autofabrikanten tonnen rijgegevens verzamelen en machine learning kunnen gebruiken om zelfrijdende praktijken en leren door AI te verbeteren. Schattingen suggereren dat het heen en weer verzenden van gegevens over een netwerk minstens 150-200ms zou duren. Dit is een enorme hoeveelheid tijd, aangezien de auto in beweging is en er realtime beslissingen moeten worden genomen over de besturing van de auto.
Volgens Toyota is de hoeveelheid gegevens die tussen auto's wordt verzonden en de cloud zou tegen 2025 10 exabyte per maand kunnen bereiken. Dat is 10.000 keer het huidige aantal. De cloud is niet ontworpen om enorme hoeveelheden gegevens snel genoeg te verwerken voor autonome auto's.
De zelfrijdende auto gaat tijdgevoelige verwerkingstaken zoals rijbaan volgen, verkeersmonitoring, objectdetectie of semantische segmentatie op lokaal (rand)niveau in realtime uitvoeren en dienovereenkomstig rijacties ondernemen. Ondertussen stuurt het voor taken op langere termijn de sensorgegevens naar de cloud voor gegevensverwerking en stuurt het uiteindelijk het analyseresultaat terug naar de zelfrijdende auto.
Edge computing-technologie zal dus een end-to-end systeemarchitectuurraamwerk bieden dat wordt gebruikt om berekeningsprocessen naar gelokaliseerde netwerken te distribueren. Een goed ontworpen AI-zelfrijdende en verbonden auto zal een samenwerkend edge-cloud computing-systeem, efficiënte video-/beeldverwerking en een meerlaags gedistribueerd (5G) netwerk zijn – een mix van gelokaliseerde en cloudverwerking. Edge AI-computing is bedoeld om de cloud aan te vullen, niet volledig te vervangen.
Collaborative edge-cloud computing
Snelheid
Gezien de enorme hoeveelheid gegevens die heen en weer worden verzonden via een netwerk Om veiligheidsredenen moet een groot deel van de verwerking aan boord van het voertuig plaatsvinden. De snelheid waarmee het voertuig continue gegevens moet berekenen, zonder de noodzaak om gegevens over te dragen, helpt de latentie te verminderen en de nauwkeurigheid te vergroten vanwege een afhankelijkheid van connectiviteit en gegevensoverdrachtsnelheden.
Door de onderlinge afhankelijkheid tussen mens en machine is de snelheid van informatieoverdracht in realtime essentieel. Het gebruik van edge AI-computing houdt in dat er voldoende gelokaliseerde rekenverwerkings- en geheugencapaciteiten zijn om ervoor te zorgen dat de zelfrijdende auto en de AI-processor hun benodigde taken kunnen uitvoeren.
Betrouwbaarheid
De veiligheid van zelfrijdende auto's is van cruciaal belang. Edge computing vermindert de belasting van verstopte cloudnetwerken en zorgt voor een betere betrouwbaarheid door de vertraging tussen gegevensverwerking en het voertuig te verminderen. Het duurde niet lang voordat fabrikanten van autonome voertuigen de beperkingen van de cloud beseften. Hoewel de cloud een noodzaak is, vereisen autonome auto's een meer gedecentraliseerde aanpak.
Met edge computing en edge datacenters die dichter bij voertuigen zijn geplaatst, is er minder kans dat een netwerkprobleem op een verre locatie de lokale voertuigen treft. Zelfs in het geval van een datacenterstoring in de buurt, blijft intelligente edge-inferencing van autonome voertuigen aan boord effectief werken, omdat ze essentiële verwerkingsfuncties native afhandelen.
Tegenwoordig bieden autofabrikanten meerdere beschermingslagen en redundantie voor stroomuitval, netwerkstoringen en zelfs computerstoringen. Voertuigen hebben ook de mogelijkheid om het netwerkverkeer dynamisch om te leiden en van stroom te voorzien, en zelfs om beslissingen te nemen om een autonome auto veilig tot stilstand te brengen. Bestuurdersloze auto's met edge AI-computing kunnen ingebouwde diagnostiek ondersteunen met voorspellende analyses, een systeem dat tijdens zijn levenscyclus kan groeien en evolueren in functies.
Met zoveel edge computing-voertuigen die op het netwerk zijn aangesloten, kunnen gegevens worden omgeleid via meerdere paden om ervoor te zorgen dat voertuigen toegang behouden tot de informatie die ze nodig hebben. Effectief integreren van Internet of Vehicles (IoV) en edge computing in een uitgebreide gedistribueerde edge-architectuur die ongeëvenaarde betrouwbaarheid en beschikbaarheid biedt.
Beveiliging
De ultieme uitdaging bij het ontwerpen van een edge computing-ecosysteem voor autonome voertuigen is het leveren van voldoende rekenkracht, redundantie en beveiliging om de veiligheid van autonome voertuigen te garanderen. Het is dus van het grootste belang om autonome driving edge-computersystemen te beschermen tegen aanvallen op verschillende lagen van de detectie- en computerstack.
Beveiliging van autonome voertuigen moet verschillende lagen van de autonome driving edge computing-stack bestrijken. Deze zekerheden omvatten sensorbeveiliging, besturingssysteembeveiliging, besturingssysteembeveiliging en communicatiebeveiliging.
Bovendien vermindert AI bij edge-gateways de communicatie-overhead en resulteert minder communicatie in een toename van de gegevensbeveiliging.
Schaalbaarheid
Edge computing in voertuigen heeft inherent een gedistribueerde architectuur die kan helpen gegevens naar de de rand van netwerken, waar voertuigen de gegevens in realtime kunnen analyseren en gebruiken, alsof het lokaal is.
Hoewel de cloud voor bepaalde taken een noodzaak is, vereisen autonome auto's een meer gedecentraliseerde aanpak. Intelligente sensoren kunnen bijvoorbeeld de mogelijkheid hebben om hun eigen videofeeds te analyseren, te bepalen welke frames van een video aandacht nodig hebben en alleen die gegevens naar de server te sturen. Deze gedecentraliseerde architectuur vermindert de netwerklatentie tijdens het gegevensoverdrachtproces, omdat gegevens niet langer via het netwerk naar de cloud hoeven te gaan voor onmiddellijke verwerking. AI-voertuigen worden uitgerust met meer rekenkracht aan boord dan in het verleden en kunnen meer taken zelf uitvoeren. met hogere voorspelbaarheid en minder latentie.
Kosten
Het toenemende aantal wegkantunits (RSU's) uitgerust met krachtige lokale AI-processors kan helpen het energieverbruik, de onderhouds- en operationele kosten te verlagen, evenals de de bijbehorende hoge bandbreedtekosten voor het overbrengen van gegevens naar de cloud. Ondertussen is een van de belangrijkste drijfveren die edge computing vandaag de dag een meer levensvatbare realiteit maken, dat de kosten van computers en sensoren blijven dalen.
AI Automotive Processor Technology
De auto-industrie ondergaat belangrijke technologische transformaties en evolueert naar hogere automatiseringsniveaus. Intelligent rijden vereist efficiëntere en krachtigere AI-processors. Volgens Horizon Robotics’ samenvatting van OEM-eisen, een hoger niveau van geautomatiseerd rijden vereist meer ordes van grootte tera-operaties per seconde (TOPS), namelijk 2 TOPS voor L2-autonomie, 24 TOPS voor L3, 320 TOPS voor L4 en 4.000+TOPS voor L5.
Automobielprocessors vallen doorgaans in drie brede categorieën:
- CPU- en GPU-gebaseerde processors: hebben over het algemeen een goede flexibiliteit, maar verbruiken over het algemeen meer stroom
- FPGA's: vereist minder rekenkracht, maar duurder en beperktere programmeerbaarheid in vergelijking met GPU's
- ASIC's: meestal met een aangepast ontwerp, zijn efficiënter in termen van prestaties, kosten en stroomverbruik
Conventionele CPU's en GPU's hebben moeite om te voldoen aan de toenemende eisen van hoge computervereisten van L4 en L5 autonome rijniveaus, waar FPGA's/ASIC's beide beter presteren dan CPU's/GPU's. Autonome voertuigen hebben voldoende rekenkracht nodig om een 'datacenter op wielen' te worden. Rekening houdend met de complexiteit van automobieltoepassingen, is rekenkracht alleen niet voldoende. Er moet ook rekening worden gehouden met de energie-efficiëntie, prestaties en kosteneffectiviteit van AI-automobielprocessors. Volledig aangepaste ASIC's zijn veruit superieur aan GPU's/FPGA's in termen van lager stroomverbruik, lagere prestaties en lagere kosten. Dat is de reden waarom de integratie van AI-specifieke ASIC-versnellers in autonoom rijdende computerplatforms een hoge vlucht neemt.
High-Performing Accelerator Chips
De inferentieversnellerchips van Gyrfalcon Technology, Inc (GTI) hebben een Convolutional Neural Network Domain-Specific Architecture (CNN-DSA) met een speciale Matrix Processing Engine (MPE) en een efficiënte AI Processing in Memory (APiM) technologie. De LightSpeeur 2803S van GTI biedt bijvoorbeeld een energie-efficiëntieprestatie van 24 TOPS/Watt, waarbij alle CNN-verwerking in het interne geheugen wordt gedaan in plaats van buiten DRAM. Het kan 448'448 RGB-beeldingangen classificeren op meer dan 16,8TOPS met een piekstroomverbruik van minder dan 700mW en met een nauwkeurigheid die vergelijkbaar is met de VGG-benchmark. De CNN-DSA-versnellers van Gyrfalcon kunnen opnieuw worden geconfigureerd om CNN-modelcoëfficiënten van verschillende laaggroottes en laagtypen te ondersteunen.
Voor meer rekenintensieve edge computing-toepassingen zoals in AI-platforms zonder bestuurder, GTI's op PCIe gebaseerde AI-versneller kaarten met 16x 2803S-chips die 270 TOPS en 9,9 TOPS/W energie-efficiëntie leveren, kunnen worden gebruikt voor de vraag naar automatische prestatie-eisen van niveau 4 AI. Het gebruik van 4x GTI 2803S PCIe-kaarten (64 chips) kan de topprestaties leveren van 1080 TOPS voor L5 AI auto-prestaties en meer.
De op AI gebaseerde chips van GTI hebben een flexibele en schaalbare architectuur en kunnen eenvoudig parallel of in cascades worden gerangschikt voor elke toepassing met een bepaalde prestatie/modelgrootte. Cascading-mogelijkheden bieden flexibiliteit en verminderen de werklast van de host. Cascading maakt ondersteuning mogelijk voor grotere en complexere modellen (bijv. ResNet-101, ResNet-152, …).
GTI’s op AI gebaseerde accelerator met een schaalbare architectuur: (a) parallelle architectuur voor hogere prestaties, (b) cascade-architectuur voor grotere modellen
De onderliggende functie van veel autonome voertuigtoepassingen is diepgaande leertechnologie, zoals convolutionele neurale netwerken (CNN's) die doorgaans worden gebruikt voor voertuig- en voetgangersdetectie, het volgen van wegdek, teken- en signaalherkenning en spraak -opdracht interpretatie. De op AI gebaseerde architectuur van GTI is een “silicium-bewezen” standalone acceleratortechnologie die kan worden gebruikt met elk type sensoruitgang, zoals visuele, audio en andere vormen van gegevens. Dit kan hoge datasnelheden zijn van machine learning-camera's en LiDAR met hoge resolutie, maar ook lage datasnelheden van RADAR en ultrasone sensoren.
Manouchehr Rafie, Ph.D.
Vice President of Advanced Technologies , Gyrfalcon Technology Inc. (GTI)
