Hoe een auto ziet in 3D

Autonomie begint met hoe het voertuig een driedimensionale wereld waarneemt.

Een essentiële taak in autonoom rijden is omgevingsperceptie – een snel veranderende, driedimensionale wereld interpreteren.

Welke methoden zal het voertuig gebruiken om zijn omgeving te begrijpen en erop te reageren? Hoe zal het systeem diepte voelen, vooral als het in beweging is? En wat als de objecten op zijn pad volledig nieuw en onbekend zijn? Wat betekent dit als het systeem niet is getraind om een ​​bepaald obstakel op zijn pad te herkennen?

De traditionele benadering van autonomie was om een ​​combinatie van dieptewaarnemingstechnieken te gebruiken: LiDAR en radar zijn de meest voorkomende (in combinatie met GPS, plus extreem nauwkeurige kaarten van het terrein). Het uitvoeren van diepteschattingen op basis van cameragegevens is ook populair geworden in de industrie; zoals de naam al aangeeft, geeft deze techniek echter een schatting van de afstand in plaats van nauwkeurige metingen. Stereocamera's daarentegen zijn in staat om nauwkeurige afstandsmetingen te leveren en kunnen aanzienlijke voordelen bieden voor autonome toepassingen.

Waarom is stereovisie belangrijk voor autonomie?

Stereovisie – het genereren van 3D-dieptekaarten met behulp van informatie van twee gesynchroniseerde, automatisch gekalibreerde camera's – is een belangrijk onderdeel van visuele waarneming, bewegingsvoorspelling en padplanning in autonome systemen. Hoewel LiDAR, een andere veelgebruikte technologie voor het meten van afstanden, ook in staat is tot nauwkeurige 3D-objectdetectie, en monoculaire camera's kunnen worden gebruikt om dieptegerelateerde informatie af te leiden of te voorspellen, heeft stereovisie unieke voordelen bij het leveren van een zeer gedetailleerd en nauwkeurig 360-graden begrip van de 3D-omgeving.

Laten we een kort voorbeeld bekijken. Onderstaande video toont een eenvoudig tafereel: twee mensen die een voetbal heen en weer laten gaan. Merk op hoe de stereocamera effectief kleine details in de omgeving kan waarnemen, inclusief de ledematen van beide spelers en de dynamische bewegingen van de bal zelf. Overweeg de grootte van deze objecten: een voetbal heeft een diameter van ongeveer 22 cm, terwijl de gemiddelde menselijke enkel een diameter heeft van slechts 10 cm. Let ook op de afstand van de camera tot de spelers: ongeveer 10 m.

Hoewel de scène in de clip hierboven niet zo uitdagend is als typische scènes op de weg – waar de lichtomstandigheden dramatisch kunnen variëren en voertuigen, voetgangers, fietsen, puin en andere obstakels de norm zijn – zijn onze stereovisie-oplossingen ontworpen om effectief te presteren in ook complexe omgevingen.

Als we naar de onderstaande schermafbeelding kijken, vastgelegd met een stereomodule op een van Ambarella's autonome EVA-voertuigen, zien we een afbeelding van een stedelijk kruispunt compleet met voertuigen, voetgangers, een fiets en obstakels zoals paaltjes en wegwijzers in de buurt van de stoeprand.

Als we de grotere stereovisie vergelijken met het inzetbeeld in de rechterbenedenhoek, kunnen we duidelijk de wegwijzer aan de linkerkant onderscheiden, de voetganger op het zebrapad, de fietser in de buurt, de twee dichtstbijzijnde voertuigen die de kruising van de linkerkant oprijden, evenals achtergrondelementen aan weerszijden van de weg. Houd er rekening mee dat de kleuren in de stereovisieweergave die hier worden weergegeven, afstanden vertegenwoordigen, waarbij warmere kleuren (bijvoorbeeld oranje) een grotere afstand tot het voertuig aangeven en koelere kleuren (bijvoorbeeld paars) een groter bereik. Aan de andere kant geven de kleuren van de 3D-kaders in de inzetweergave het objecttype aan: voertuigen zijn groen omlijnd, voetgangers zijn blauw omlijnd en fietsen zijn wit omlijnd.

Stereoprestaties in uitdagende lichtomstandigheden.

Om een ​​op stereo gebaseerde oplossing effectief te laten zijn op de weg, moet de nauwkeurigheid behouden blijven in verschillende lichtomstandigheden. Laten we als voorbeeld kijken naar nachtelijk rijden. Op stereo gebaseerde obstakeldetectie in het donker (het detecteren van zowel positieve als negatieve obstakels zoals kuilen) vereist een robuuste diepteschatting inclusief een ongelijkheidsvaliditeitsmeting om succesvol te zijn. De onderstaande video biedt een demonstratie van Ambarella's stereovisieverwerkingsmogelijkheden in een scenario met weinig licht onderweg.

In de video hierboven is het onderste- linkerkwadrant toont een stereo-gebaseerde dichte ongelijkheidsweergave. Net als de vorige schermafbeelding vertegenwoordigen de kleuren in deze weergave afstanden; het kleurenschema is echter anders. In dit geval geeft de paarse kleur nabijheid aan, terwijl rood afstand aangeeft, waarbij de overige kleuren de verschillende bereiken daartussen weergeven.

Wanneer meerdere uitgangen van zowel korte- als langeafstandsstereocameramodules worden gecombineerd, is het mogelijk om de omgeving in opvallend detail te visualiseren via het genereren van dichte puntenwolken, zoals weergegeven in de onderstaande video.

Hoe gebruikt Ambarella gegevens gegenereerd door stereocamera's op onze voertuigen?

• <Dieptemapping: Door een dieptekaart te maken, kunnen generieke objecten in de scène (variërend van voertuigen en voetgangers tot palen, vuilnisbakken, kuilen en puin) worden gedetecteerd, inclusief hun nauwkeurige grootte, locatie en afstand zonder dat het systeem expliciet hoeft te worden getraind.
• Wegmodellering: verschillende wegvormen kunnen nauwkeurig worden gemodelleerd, wat helpt bij het bergopwaarts en bergafwaarts manoeuvreren.
• Gegevensfusie : Aangezien kleurgerelateerde informatie wordt geleverd naast dieptegegevens door dezelfde sensor, is het mogelijk om gelijktijdig monoculaire algoritmen uit te voeren (bijv. rijbaanmarkering of verkeersborddetectie via CNN's) en deze gegevens vervolgens te fuseren met de dieptekaart.
• 360-graden visualisatie: stereocamera's kunnen worden gebruikt voor waarneming op korte afstand met fisheye-lenzen, waardoor een 360-graden beeld van de scène mogelijk is tijdens manoeuvres op lage snelheid.

Klik hier voor meer informatie over onze computer vision-chips.

Klik hier voor meer informatie neem contact met ons op.

Francesca Ghidini, PhD
Senior algoritme-ingenieur, Ambarella