Contents
Het is alweer een aantal weken geleden dat AutoSens in Detroit werd gehouden en er zijn nog maar een paar weken tot AutoSens zal in september opnieuw landen in het prachtige automuseum AutoWorld in Brussel. Het lijkt erop dat dit het juiste moment is om opnieuw te schrijven over wat er gaande is op het gebied van autodetectie en -perceptie bij AutoSens.
We houden echt van AutoSens en het schrijven van showverslagen is een beetje een gewoonte geworden. Op onze website kunt u onze eerdere uitzendingen van 2016, 2017 en 2018 lezen en vergelijken.
Een belangrijk ding om op te merken: net voor het evenement in Detroit kondigde de organisatie aan dat er een derde extra jaarlijkse locatie voor AutoSens aan de kalender wordt toegevoegd. In november 2020 vindt het eerste evenement in Hong Kong plaats, waardoor AutoSens nu ook naar Azië komt.
AutoSens Detroit in cijfers
Als u nog geen AutoSens-show hebt bijgewoond en om u een goed idee te geven van de omvang, hier is de conferentie in cijfers:
- 450 deelnemers (550 in Brussel 2018)
- 2 dagen conferentie, 1 dag workshops
- 60 deskundige sprekers (70 in Brussel)
- 50 exposanten (zelfde zoals in Brussel)
- 30 deelnemers aan de IEEE P2020-werkgroep (60 in Brussel)
- 2 parallelle gesprekken (versus 3 in Brussel)
Het evenement is dus maar iets kleiner dan het hoofdevenement in Brussel. Robert Stead, de Managing Director van AutoSens, heeft gezegd dat hij niet wil dat AutoSens veel verder groeit, en 400-600 aanwezigen hebben het gevoel dat ze de perfecte maat hebben. Aangezien veel mensen deze show elk jaar bijwonen en veel leden actief zijn als sprekers, exposanten of workshopbezoekers, heeft het evenement een echt gemeenschapsgevoel. Dit maakt het gemakkelijk om nieuwe collega's uit de branche te ontmoeten en interessante discussies te voeren. AutoSens is heel anders dan een grote show als CES, waar de 170K+ aanwezigen zich meestal in een anonieme menigte verplaatsen.
Workshops
De week begon met een dag workshops. Er waren verschillende sessies van een halve dag waarin onderwerpen werden behandeld zoals infraroodcameradetectie, technologieën voor automatisch rijden, het robotbesturingssysteem, materiaalinteracties voor autonome sensortoepassingen, en afgesloten met gesponsorde rondetafelgesprekken.
De P2020 Standards Group kwam ook weer twee dagen bijeen. Deze werkgroep specificeert manieren om de beeldkwaliteit van auto's te meten en te testen. De beste bron van waar de groep aan heeft gewerkt, is waarschijnlijk nog steeds de whitepaper van 32 pagina's, die in september 2018 werd gepubliceerd. Het belang van P2020 lijkt toe te nemen, waarbij OEM's ook technieken en methoden oppikken die binnen P2020 zijn ontwikkeld .
De gesprekken
Hoewel AutoSens helemaal draait om de gemeenschap, zijn er in de loop van twee dagen veel geweldige gesprekken om bij te wonen, die het hele spectrum bestrijken van alles wat ADAS en autonoom is. Alle presentatieslides zijn online te vinden, al zijn de allernieuwste presentaties uit Detroit alleen tegen een kleine vergoeding verkrijgbaar. AutoSens heeft ook een YouTube-kanaal, waar de talks van eerdere evenementen beschikbaar worden gesteld.
Hier is een overzicht van de presentaties van Detroit, opgesplitst in de volgende categorieën: sensing, beeldsensoren, Lidar, uniek sensoren, beeldverwerking, perceptie en AI, applicaties, ontwikkelingsondersteuning, ondersteunende technologieën en zakelijke aspecten.
Sensing
Deze intelligente automotive toepassingen beginnen allemaal met de sensor. De gegevens zijn slechts zo goed als de sensor ze zal vastleggen, dus hoe krachtiger de sensor, hoe krachtiger de use case kan zijn. De focus bij AutoSens lag op beeldsensoren en Lidar, en heel weinig radar. Vervolgens werden er een paar unieke use-cases gemarkeerd met niet-typische sensoren.
Beeldsensoren
Sony sprak over RGGB versus RCCB-pixelconfiguraties en dat de ISP-pijplijn de sleutel is om hier goede prestaties uit te halen. OmniVision besprak hun RGB-Ir-sensor, specifiek gericht op het snelgroeiende gebied van bewakingssystemen voor bestuurders en passagiers in het interieur. Naast detectie en monitoring van passagiers toonde OmniVision detectie van onbeheerde kinderen, objectdetectie en verbeterd zicht 's nachts. Een rolluik is prima voor de meeste toepassingen in de cabine die ze noemen.
Lidar
De Universiteit van Wisconsin-Madison beschreef een nieuwe manier om het uitgestraalde licht te coderen met Hamiltoniaanse codering, wat resulteerde in veel hogere nauwkeurigheid. Aeye sprak over het veranderen van de bemonstering, het bewust maken van deze scène in plaats van een regulier raster te gebruiken, wat weer resulteert in hogere nauwkeurigheid. Trioptics sprak over het uitlijnen en testen van Lidar-systemen voor massaproductie, een belangrijke stap om dergelijke systemen naar consumentenvoertuigen te brengen. Imec beschreef hun 3D-beeldvormingssysteem bestaande uit Lidar, mm-wave Radar en gated imagers met sensorfusie- en perceptie-algoritmen, modellering en simulatietools. On Semi gaf een overzicht van hun SiPM's en SPAD-arrays en hoe ze worden gebruikt in Lidar-systemen.
Unieke sensoren
Daarna waren er een aantal lezingen over unieke manieren om sensoren te gebruiken. Een interessant voorbeeld kwam van WaveSense, dat radar gebruikt om een handtekening van de grond onder de auto vast te leggen. Door deze vingerafdrukken tussen voertuigen op te slaan en te vergelijken, kan de zeer exacte locatie van een voertuig worden afgeleid. Dit kan een belangrijk datapunt zijn, aangezien GPS voor veel toepassingen niet nauwkeurig genoeg is. Ook is het gebruik van camera's voor deze lokalisatietaak niet altijd mogelijk vanwege moeilijke weersomstandigheden, of als er maar heel weinig oriëntatiepunten zijn die voor identificatie kunnen worden gebruikt. Bovendien kunnen andere voertuigen rondom de auto het zicht van de camera blokkeren. De WaveSense-radaroplossing dekt al deze use-cases op een robuuste manier. Seek Thermal stelde voor om van warmtebeeldsensoren een eersteklas burger te maken tussen de andere veelgebruikte sensoren. Aangezien veel ongelukken in het donker gebeuren, kan warmtebeeldcamera's een belangrijke rol spelen bij het detecteren van situaties die normale camera's niet kunnen detecteren en voorkomen.
Beeldverwerking
Na het beeld en de fase voor het vastleggen van gegevens is voltooid, de volgende stap is om deze gegevens te verwerken tot meer betekenisvolle beelden die klaar zijn voor verdere verwerking stroomafwaarts door intelligente algoritmen of het menselijk oog.
ARM sprak over het optimaliseren van de ISP die onbewerkte beeldsensorgegevens in afbeeldingen vertaalt. Ze benadrukten dat ISP's twee functies hebben: mooie foto's maken voor mensen en afbeeldingen leveren voor de computervisie/deep learning en SLAM-algoritmen stroomafwaarts. Een interessante opmerking was dat elke ISP ook kan worden vervangen door een neuraal netwerk. Dus waarom hebben we dan nog ISP's nodig? ARM verklaarde dat ISP's in de eerste plaats efficiënter zijn dan neurale netwerken, en dat de ISP's moeten worden afgestemd, maar anders neurale netwerken kunnen vervangen. Bovendien maakt een afstembare ISP het mogelijk om over te schakelen naar nieuwe sensoren met andere kenmerken, waardoor de neurale netwerken niet opnieuw hoeven te worden getraind. De lezing van Geo Semiconductor was puur gericht op ISP-tuning voor de auto-industrie, en liet veel unieke uitdagingen zien die alleen in de auto-industrie voorkomen en niet zozeer in typische consumententoepassingen. Valeo richtte zich op het verminderen van een ander effect dat zich vooral in de auto-industrie voordoet: led-flikkering. MIT hield een lezing over hoe je door mist kunt kijken met een camera, laser en een SPAD-camera.
Perceptie en AI
Nadat de gegevens zijn vastgelegd en verwerkt, is een belangrijke volgende stap om die gegevens intelligent te analyseren en er betekenis uit te halen. Typische toepassingen zijn het detecteren van voertuigen in zicht, voetgangers, rijstroken, verkeersborden, waar de weg begint en eindigt, en nog veel meer.
Brodmann17 gaf een interessante lezing over het in realtime uitvoeren van dergelijke neurale netwerken op kleine systemen. Bij videantis zien we nogal wat ontwerpen die dergelijke algoritmen op laag vermogen en met lage computervereisten moeten uitvoeren, zodat ze kunnen worden ingebed in kleine camera's of ECU's in het voertuig. Hoewel we veel bewerkingen per Watt kunnen leveren, blijft het beperken van de rekenvereisten altijd een belangrijk aspect. Brodmann17 gaf een overzicht van enkele van de unieke trucs die ze gebruiken, zoals het delen van gewichten en berekeningen in de netwerken. Voxel51 richtte zich op een ander aspect van AI: de immense hoeveelheid video die ontwerpers van algoritmen vastleggen en opslaan om de neurale netwerken mee te trainen. Ze toonden hun videobeheertool die AI-aspecten bevat, zodat ontwerpers van algoritmen snel de video's kunnen openen en extraheren die het meest zinvol zijn voor hun aandachtsgebieden. Perceptieve automaten richtten zich op een ander aspect waar de automobielindustrie AI nodig heeft: het voorspellen van menselijk gedrag. Hun algoritmen beantwoorden vragen als “Gaat ze de weg oversteken of niet?” of “Weet hij dat onze auto hier is?” Om deze vragen over intentie en bewustzijn te beantwoorden, moeten we menselijk gedrag voorspellen, iets wat we altijd doen tijdens het autorijden.
Toepassingen
Applicaties verbinden alle drie de stappen met elkaar: detecteren, verwerken, intelligent analyseren en vervolgens actie ondernemen. Er zijn veel beeldgerichte toepassingen mogelijk in het voertuig, maar AutoSens richt zich vooral op de onderliggende technologieën die deze toepassingen aandrijven, niet op de eindtoepassingen zelf. Een leverancier die een eindtoepassing liet zien, was Mercedes-Benz, die hun MBUX-interieurassistent in de kijker zette. Dit systeem gebruikt camera's en dieptesensoren om handbewegingen en gebaren te detecteren en gebruikt deze informatie om pictogrammen op het dashboard te markeren, onderscheid te maken tussen bestuurder en passagier, individuele stoelverstelling, leeslampjes en meer te activeren.
Ontwikkelingsondersteuning
Naast de basistechnologieën van detectie, verwerking en de AI waaruit de applicaties bestaan, is er een brede reeks aanvullende ondersteunende tools die worden gebruikt tijdens de ontwikkeling van deze complexe systemen.
Eén taak is ervoor te zorgen dat het systeem zich onder alle omstandigheden correct gedraagt. Aangezien u niet zomaar alles op de weg kunt testen en miljoenen kilometers kunt rijden voor elke regel code die u wijzigt, is simulatie de sleutel. Siemens richtte hun presentatie op validatie met behulp van digitale tweelingen in combinatie met formele verificatie. Dell EMC's CTO Florian Baumann liet de uitdagingen en vereisten zien van het synthetisch genereren van sensorgegevens voor de ontwikkeling van ADAS-systemen en aanverwante aspecten. De lezing van Parallel Domain was meer specifiek gericht op het automatiseren van het creëren van nauwkeurige virtuele werelden, die vervolgens kunnen fungeren als een gesimuleerde omgeving voor de sensoren.
Codeplay gaf een lezing over het ontwikkelen van veiligheidskritische, hoogwaardige software voor autotoepassingen. Ze verspreidden een uitgebreid diaserie met een schat aan informatie over vele aspecten van de ontwikkelingsstroom en nieuwe C++-standaarden.
Ondersteunende technologieën
Het Changan US R&D Center sprak over voertuig-naar-alles-communicatie en Synopsys gaf een overzicht van MIPI en hoe het tegemoet komt aan de automobielvereisten. MIPI is een toonaangevende open interfacestandaard die wordt gebruikt voor sensorchipverbindingen.
Kaarten zijn een ander belangrijk aspect van autonoom rijden, en beide toonaangevende kaartenmakers Here en TomTom werden ook interessant gepresenteerd op AutoSens. Hier bespraken hun HD-kaarten op basis van camera- en Lidar-detectie en TomTom richtte zich op het combineren van lidar, camera, GPS, IMU's en het aspect van crowdsourcing-gegevens.
Zakelijke aspecten
Ten slotte presenteerde Rudy Burger van Woodside Capital een overzicht van waar de meeste investeringen in intelligente voertuigtechnologieën zijn gedaan.
Rudy liet zien dat de meeste investeringen zijn gedaan in bedrijven die “full-stack autonome software” en LiDAR-technologie. Rudy toonde aan dat er de afgelopen 12 jaar 80 LiDAR-bedrijven zijn opgericht met een totale financiering van $ 1 miljard. Een ander interessant gegeven was dat 3 van de top 5 best gefinancierde particuliere bedrijven Chinees zijn.
Rudy zei dat wanneer hij spreekt met een afdeling voor public relations van autonome voertuigen, ze blij praten over de lancering van robotaxis dit jaar. Tegelijkertijd, terwijl ze met ingenieurs van hetzelfde bedrijf praten, vertellen ze hem dat ze zich nog maar in de onderzoeksfase bevinden.
Conclusie
Robert Stead vatte het als volgt samen in de AutoSens-video waarin hij zijn drie afhaalrestaurants van de conferentie belicht:
- Volgens de Gartner-hypecurve verkeert autonoom rijden in het dal van ontgoocheling, maar er waren geen gedesillusioneerde mensen op de show.
- Focus op de overwinningen: er is nog geen massale inzet van autonome voertuigen, maar er zijn zijn veel geavanceerde rijhulpsystemen die in onze voertuigen worden gebruikt, waardoor ze veiliger en gemakkelijker te besturen zijn.
- Samenwerking: er worden veel joint ventures en samenwerkingsverbanden gevormd. Al onze voertuigen volkomen veilig maken en zelf rijden is een grote taak die geen enkel bedrijf op zich kan nemen.
Conferenties zoals deze laten zien hoe groot technisch probleem het is om onze voertuigen te maken veilig en uiteindelijk zelf rijden onder alle omstandigheden. Het raakt, optica, sensoren, intelligente verwerking en waarneming, mapping.
De conferentie maakte ook duidelijk dat er niet “één sensor is om ze allemaal te beheersen”. Integendeel eigenlijk. Er worden verschillende soorten sensoren geïntroduceerd, en zelfs “standaard beeldsensoren” veranderen en worden applicatiespecifieker.
Eén ding is duidelijk: het is erg moeilijk om voertuigen volledig autonoom te maken. We staan nog aan het begin van deze enorme verandering die eraan komt. Maar naast het volledig autonoom maken van voertuigen, wordt er aan veel actieve veiligheidssystemen en toepassingen in de cabine gewerkt. Hoewel de vooruitgang soms traag lijkt, wordt de honger van de OEM's om betere voertuigen naar de consument te brengen niet kleiner. Veel aanwezigen op de show werken niet aan technologie die een luchtkasteel is. Degenen met wie we spraken, waren voornamelijk bezig met het ontwikkelen van systemen die over een paar jaar ook echt in de handen van de consument zullen komen.
Bij videantis blijven we erg enthousiast om op dit gebied te werken en zien we zo'n sterke vraag naar efficiënte en flexibele deep learning-versnelling en visual computing. Bij videantis richten we ons op het leveren van de vereiste complete, hoogwaardige verwerkingsoplossingen met een zeer laag vermogen. Je kunt tenslotte de beste sensor ter wereld hebben, maar als je niet over de vereiste verwerkingsbronnen beschikt om de gegevens te analyseren, is het behoorlijk nutteloos.
AutoSens Brussel staat gepland voor 17 -19 september 2019 in Brussel. We kijken ernaar uit om iedereen daar te ontmoeten, of liever eerder!
Aarzel niet om contact met ons op te nemen voor meer informatie over onze geïntegreerde deep learning/visie/videoprocessor en softwareoplossingen.
Marco Jacobs
Vice-president Marketing, videantis
