De technologie in onze auto's ondergaat een radicaal dynamische transformatie. Software houdt de motor in de gaten, speelt muziek af, waarschuwt de bestuurder voor gevaar voor naderend verkeer en biedt nog veel meer functies. Het oude gezegde dat software traag is en chips snel, is echter uiterst relevant nu voertuigen autonoom worden. Er is geen ruimte voor fouten wanneer de auto zelf rijdt en naarmate we dichter bij volledige autonomie komen, zullen chips de volgende generatie innovatie moeten inluiden.
Waarom zijn geavanceerde chips nodig voor Edge AI?
AI vereist een specifieke architectuur die meer geschikt is voor AI-applicatieverwerking. De trend is om Tensor-architectuur te gebruiken in tegenstelling tot lineaire of vectorverwerking die doorgaans wordt gebruikt in respectievelijk CPU, DPU of GPU. Geavanceerde chips of speciale co-processors worden de mainstream voor AI-verwerking op het apparaat, aan de rand en zelfs in de cloud. Edge AI heeft nog andere voordelen (naast de architectuur) op het gebied van locatie, privacy, latentie, beperking van energieverbruik en mobiliteitsondersteuning.
Waarom is autonoom rijden zo moeilijk vanuit technisch oogpunt?
Autonome voertuigen moeten enorme hoeveelheden gegevens verwerken die zijn vastgelegd door de sensoren (camera, LiDAR, Radar en Ultrasound). En het moet realtime feedback geven, zoals verkeersomstandigheden, evenementen, weersomstandigheden, verkeersborden, verkeerslichten en andere. Dit vereist hoge biljoenen bewerkingen per seconde (TOPS) om meerdere uitdagende taken (bijv. objectextractie, detectie, segmentatie, tracking en meer) tegelijkertijd te verwerken. Het verbruikt ook een hoog stroomverbruik, afhankelijk van de bewerking. Ten slotte zijn snelle verwerking, betrouwbaarheid en nauwkeurigheid erg belangrijk en moeten ze beter zijn dan mensen.
Beschrijf de rekenkundige uitdagingen voor autonome voertuigen boven L3.
Momenteel gebruiken de meeste autonome voertuigen GPU (grafische verwerkingschip) voor hun belangrijkste AI-verwerking. GPU is niet zo snel of kosteneffectief als een aangepaste chip (ASIC). Uiteindelijk hebben we een toegewijde autonome AI-processor nodig. Een van de grootste problemen is echter het stroomverbruik. Om bovenstaande L3 feilloos te laten werken, heb je 100 en 1000 watt nodig om realtime HD-invoer van meerdere camera's, radar, LiDAR, enz. Te verwerken. Dat is een enorme stroombehoefte. Het betekent in feite dat je een speciale batterij nodig hebt voor verwerking.
Welke chips worden voor autonome AI het meest gebruikt (grafische verwerkingseenheden (GPU's), veldprogrammeerbare poortarrays (FPGA's), toepassingsspecifieke geïntegreerde schakelingen (ASIC's) of centrale verwerkingseenheden (CPU's)?
CPU's zijn processors voor algemeen gebruik met een lineaire architectuur. Idealiter is het wenselijk om CPU's te gebruiken voor meer algemene (maar belangrijke) niet-AI-taken. Overbelasting van CPU's door AI-verwerking moet indien mogelijk worden vermeden. GPU's worden traditioneel gebruikt voor graphics en gaming. Vanwege de flexibiliteit en relatief hoge verwerkingskracht kan het echter worden gebruikt voor AI-training en edge-toepassingen. Er zijn andere problemen, zoals de gegevensoverdracht tussen de GPU en de CPU, wat uiteindelijk een van de grote beperkingen van het systeem wordt. Andere belangrijke nadelen van GPU's zijn stroomverbruik en kosten. GPU's worden meestal gebruikt voor cloud-AI en de flexibiliteit en configureerbaarheid ervan. ASIC's zijn meer geschikt voor toepassingsspecifieke taken met grote computerverwerking, lage kosten en energie-efficiëntievereisten, zoals AI-toepassingen. Het gebruik van een speciale AI-co-processor (ASIC) voor AI-toepassingen wordt steeds meer mainstream, met name voor Edge-toepassingen. Wij geloven dat in de toekomst voor autonoom rijden speciale processors en systemen zullen zijn om het doel te dienen die niet gebaseerd zullen zijn op GPU.
Waarom is edge computing zo belangrijk voor de toekomst?
Edge computing is belangrijk vanwege de volgende kenmerken: Locatie , lage latentie, privacy/beveiliging, mobiliteitsondersteuning en beperking van stroomverbruik.
Als autonome AI een fout maakt, kunnen levens in gevaar komen. Hoe kunnen fabrikanten ervoor zorgen dat deze fouten niet worden gemaakt?
Als je terugkijkt op ongevallen of problemen met hun autonoom rijden, was elk afzonderlijk geval een nieuw geval dat de machine learning niet helemaal wist hoe te reageren of verkeerd reageerde. Het kost tijd, maar we moeten het correct doen. Meer dan 90% van de auto-ongelukken is te wijten aan menselijke fouten en hoewel menselijke fouten kunnen worden vergeven, zijn machinefouten dat niet. AI-nauwkeurigheid kan worden verhoogd door leermogelijkheden en gebruikte algoritmen. Naast algoritmes zijn infrastructuur en overheidsregulering van belang om autonoom rijden mogelijk te maken. Boven L3 (L3+, L4 en L5) scenario's worden momenteel geëvalueerd door verschillende topbedrijven in wegomstandigheden op snelwegen.
Wat is de rol van sensoren (dwz camera's, LiDAR, ultrasoon, en radar)?
Camera'sworden doorgaans gebruikt voor zichtverwerking, waarbij men zich bewust wordt van de omgeving voor objectdetectie, identificatie, segmentatie, (baan)tracking, dodehoekbewaking, parkeerhulp, verkeersbordherkenning en kleurinformatie. Camera's geven doorgaans geen afstandsinformatie. LiDAR wordt meestal gebruikt voor 360-punts detectie met hoge nauwkeurigheid en resolutie. Het kan worden gebruikt voor files, AEB (automatische noodrem), snelwegpilot en meer. LiDAR is erg duur en biedt geen kleurinformatie. Radar wordt gebruikt voor objectdetectie met een hoge tot lage resolutie en is nuttig op grote afstand, maar kan niet onderscheiden wat de objecten zijn. Ultrasoonwordt vaak gebruikt voor parkeerhulp, dode hoeken, ACC (automatische cruise control) met stop and go. Ultrasoon is handig voor cruise control, het vermijden van botsingen, afstandssensoren en weersbestendigheid met lage resolutie.
Kun je uitleggen hoe Fusion een rol speelt?
Sensorfusie wordt gebruikt voor gegevensfusie voor geautomatiseerd rijden. Momenteel gebruikt het een gedistribueerde architectuur, maar gaat het richting gecentraliseerde architectuur. Late fusie(nu) gebruikt een objectenlijst (voltooide taken) afkomstig van sensoren en wordt momenteel gebruikt voor L2 en L3. Ten slotte gebruikt Early fusion (toekomst) onbewerkte gegevens afkomstig van sensoren, wat nodig is voor L3+, L4 en L5.
Voor zelfrijdende auto's zijn chips essentieel om hun “brein” en "ogen" werken. Hoe kan AI deze sensoren versterken?
Ze doen het op drie manieren. Eerst voelen de omgeving wordt vastgelegd met camera's binnen/buiten, LiDAR, radar en ultrasoon. Vervolgens waarnemen via AI-rekenverwerking, algoritmen, training, inferencing en data/sensorfusie, die wordt gebruikt voor datastructurering, segmentatie, objectdetectie en video-begrip. Het volgende is planning met contextbewustzijn, padplanning en taakprioritering. Ten slotte is activeren/controle de besturing, remmen, acceleratie en motor- en transmissiecontrole.
Wat kunnen we de komende 3 jaar verwachten met AI-empower sensoren?
Beeldsensoren bestrijken een breed scala aan toepassingen, variërend van smartphones tot machine vision en automotive. De markt voor CMOS-beeldvormingssensoren (CIS) zal zijn disruptieve innovatie en groei voortzetten, zowel op het gebied van detectie als AI. Naast de basisfunctionaliteiten voor autonome voertuigen, gaan OEM's over op het opnemen van deep learning-algoritmen voor objectherkenning en segmentatie die vaak worden gebruikt in ADAS-niveaus. Gigantische bedrijven en startups blijven diensten aanbieden op basis van L3+, waaronder Robo-taxi's, intelligent openbaar vervoer. Deze opkomende toepassingen en systemen hebben zich snel omringd met rijke, gediversifieerde ecosystemen, met name op het gebied van sensoren en computers. Beeldsignaalprocessors (ISP) voor geavanceerde AI-toepassingen hebben een geavanceerde vision-processor en een versneller nodig. De hardware kan een standalone system-on-chip (SoC) zijn of een gecombineerde SoC+AI-processor die het volume en de inkomsten van IC's verhoogt. AI-aangedreven camera's hebben naast auto's ook andere toepassingen in slimme steden, smart home/retail, industriële IoT, smart traffic & resourcebeheer en beveiliging, inclusief bewaking, detectie en herkenning. Deze toepassingen impliceren de ontwikkeling van krachtige ISP's en vision-processors voor het omgaan met de analytische algoritmen van vandaag en de AI van morgen met diepgaande leermogelijkheden.
Bin Lei
Mede-oprichter en Senior Vice President, Gyrfalcon Technology
