Een nadere blik op LiDAR en stereovisie

Beide technologieën worden gebruikt voor objectdetectie in autonome voertuigen, maar hoe verhouden ze zich tot elkaar?

Autonome voertuigen gebruiken doorgaans meerdere sensorsystemen voor omgevingswaarneming: LiDAR-, radar- en cameramodules zijn het populairst. Deze sensorsystemen werken samen en bieden een uitgebreide weergave van de buitenwereld – voertuigen, voetgangers, fietsers, borden en meer – en hun overlappende mogelijkheden creëren ook redundantie, zodat als het ene systeem hapert, een ander het gat opvult.

Radar is een onderdeel van de meeste automotive sensorsuites. Een relatief goedkope, betrouwbare en beproefde technologie, radar is in staat om grotere objecten op redelijke afstanden te detecteren en presteert goed bij weinig licht en bij slecht weer, wat beide sterke voordelen zijn in de auto-industrie. Omdat radar echter moeite heeft om kleinere objecten te detecteren en de objecten die het detecteert te identificeren, is radar slechts één onderdeel van de oplossing: het fungeert als een belangrijke aanvulling op een primaire detectiemodaliteit, zoals LiDAR of camera's.

Radarmodule gemonteerd achter de bumper van een voertuig.

LiDAR-technologie biedt afstandsmetingen door de tijd te meten die een lasersignaal nodig heeft om van een object terug te kaatsen en terug te keren naar een lokale sensor. Camera's, wanneer ze in paren worden gebruikt (bijv. stereocamera's), bieden ook afstandsschatting, in dit geval gebaseerd op het resultaat van triangulatie van visuele informatie genomen vanuit twee verschillende gezichtspunten (d.w.z. de twee camera's).

Stereovision en LiDAR hebben elk de capaciteiten die nodig zijn om te dienen als het primaire sensorsysteem voor voertuigautonomie – en kunnen met name gelijktijdig worden ingezet om redundantie te creëren. Dus, wat zijn de voor- en nadelen van deze twee detectiemodaliteiten?

Een verhaal van twee technologieën

Zowel stereo als LiDAR zijn in staat tot afstandsmeting, diepteschatting en het genereren van dichte puntenwolken (d.w.z. 3D-omgevingskaarten). Beide produceren uitgebreide datasets die niet alleen kunnen worden gebruikt om objecten te detecteren, maar ook om ze te identificeren – bij hoge snelheden, in verschillende wegomstandigheden en op lange en korte afstanden. Beide hebben voor- en nadelen. Is er een duidelijke winnaar?

Zoals eerder vermeld, gebruikt LiDAR een vergelijkbaar principe als sonar. Het bepaalt de afstand tussen het voertuig en de omgeving door laserpulsen uit te zenden en de tijd te meten die nodig is voordat die signalen van objecten afketsen en terugkeren naar een ontvanger. Hoe groter het aantal signalen, hoe groter het aantal mogelijke afstandsmetingen – meer is onmiskenbaar beter. Dit wordt meestal bereikt door meerdere lasers die roteren (fysiek of via logica) in staat te stellen de omgeving rond het voertuig te scannen in een veld van 360 graden.

LiDAR is in de geschiedenis van autonomie een belangrijke detectietechnologie geweest. Baanbrekende zelfrijdende prototypes vertrouwden op LiDAR vanwege de nauwkeurige afstandsmetingen, betrouwbaarheid en gebruiksgemak. De meeste concurrenten in de door DARPA gesponsorde autonome uitdagingen die in 2004 begonnen, vertrouwden bijvoorbeeld op LiDAR-technologieën.

De sterke punten van LiDAR zijn duidelijk – zo duidelijk zelfs dat een meerderheid van moderne autonome prototypen het vandaag de dag nog steeds als de primaire detectiemodaliteit blijft gebruiken. De sterke punten zijn:

1. Hoge precisie (afstanden gemeten tot op de centimeter)
2. Hoge datasnelheid (mechanisch roterende LiDAR's leveren 20 of meer omwentelingen per seconde)
3. Stabiel en betrouwbaar
4. Bewezen
5. Detectie wordt niet beïnvloed door temperatuur of licht

Ondanks zijn vele sterke punten heeft LiDAR echter bepaalde technologische beperkingen.

De zwakke punten van LiDAR zijn onder meer:

1. Ongunstige weersprestaties – valse positieven kan worden veroorzaakt door reflecties veroorzaakt door regen, mist en stof. Hoewel deze problemen kunnen worden beheerd via speciale algoritmen, kan het weer nog steeds problemen opleveren voor op LiDAR gebaseerde systemen.
2. Oogveiligheidsvoorschriften stellen een limiet aan de signaalsterkte van LiDAR. Deze beperking introduceert een verplichte afweging tussen gezichtsveld (FOV), resolutie en afstand.
3. De effectiviteit van LiDAR-metingen is gekoppeld aan de reflectiviteit van het object. Als het uitgezonden signaal een reflecterend object tegenkomt, keert het grootste deel van zijn energie terug naar de ontvanger zoals bedoeld, en het object wordt met succes gedetecteerd. Als het signaal echter een obstakel tegenkomt met een slechte reflectiviteit, bijvoorbeeld als een voertuig zwart is, kan de energie van het signaal slechts fractioneel terugkeren en kan de betrouwbaarheid van de detectie als gevolg daarvan afnemen. Gelukkig worden de meeste auto's, motorfietsen, fietsen en voetgangers als voldoende reflecterend beschouwd voor detectie via LiDAR, wat wederom de reden is waarom het zo wijdverbreid in het veld is ingezet.

Dus, hoe zit het met stereovisie? Hoe is het te vergelijken?

Stereovisie verwijst naar een techniek waarmee afstanden kunnen worden geschat via de verwerking van twee afzonderlijke beelden van dezelfde omgeving, tegelijkertijd vastgelegd vanuit twee nabije gezichtspunten. In de beginjaren van de autonomie van voertuigen (eind jaren 90 tot begin jaren 2000) stond de wetenschap van computervisie nog in de kinderschoenen. Deze en andere factoren zorgden voor een aantal problemen die verhinderden dat stereovisie onmiddellijke overweging werd als de primaire detectiemodaliteit voor zelfrijdende auto's.

Met name de stereo had last van:

1. Slechte langeafstandsbeelden van camera's met een lage resolutie
2. Slechte prestaties in omgevingen met weinig licht< /li>
3. Hoge rekenkrachtvereisten (meerdere pc's waren nodig aan boord voor computervisieverwerking)
4. Camera's werden tijdens het rijden niet gekalibreerd, waardoor handmatige aanpassing nodig was

Destijds waren deze problemen waren significant genoeg om te voorkomen dat stereovisie zou worden ingezet als een levensvatbaar alternatief voor autonome detectie. Bij gebrek aan concurrentie floreerde LiDAR.

Sindsdien hebben zich echter belangrijke ontwikkelingen voorgedaan die stereovisie een aantrekkelijkere kandidaat maken:

1. Goedkope camera's met een hoge resolutie (8-megapixelcamera's zijn tegenwoordig direct beschikbaar)
2. Geavanceerde ISP's met HDR en beeldverwerking bij weinig licht voor nachtelijk rijden
3. Ingebouwde SoC's die expliciet zijn ontworpen voor realtime computervisieverwerking
4. Automatische, on-the-fly camerakalibratie (later meer over deze functie)

Deze ontwikkelingen, als geheel genomen, hebben stereovisie getransformeerd van een niche-zelfrijdende technologie tot een sterke concurrent als de primaire detectiemodaliteit voor voertuigautonomie.

Hoe presteert stereovisie in de hedendaagse autonome voertuigen?

De belangrijkste prestatie-index bij het overwegen van een technologie voor het herkennen van obstakels is resolutie: hoeveel afstandsmetingen/-schattingen kan het per seconde leveren? Hoe hoger het getal, hoe nauwkeuriger de 3D-weergave van de wereld rondom de auto. Over het algemeen kan stereovisie ongeveer 2.000 verticale samples per seconde leveren met behulp van de huidige generatie camera's. Als je dit aantal vergelijkt met LiDAR's 128 verticale samples per seconde, wordt het duidelijk dat stereovisie superieure resoluties kan leveren.

Vergelijking tussen stereodichtheid (links) en LiDAR-dichtheid (rechts).

Als we naar de bovenstaande vergelijkingsafbeelding kijken (waarin gekleurde pixels in beide afbeeldingen de metingen van de sensor vertegenwoordigen en de kleur de gemeten afstand op de schaal van elke sensor aangeeft), kunnen we de grotere omgevingsdekking zien die wordt geboden door de stereo-oplossing aan de linkerkant, terwijl de op LiDAR gebaseerde uitvoer aan de rechterkant toont een veel dunnere overlay.

Als we de afbeelding nauwkeuriger bekijken met behulp van de ingezoomde versie hieronder, kunnen we de verschillen duidelijker zien: de gegevens die via stereovisie worden gegenereerd, zijn rijker, wat op zijn beurt het detecteren van obstakels gemakkelijker maakt.

Close-up vergelijking tussen stereodichtheid (links) en LiDAR-dichtheid (rechts).

Hoewel de hierboven gepresenteerde demonstratie overdag plaatsvond, is de stereoresolutie ook sterk in scenario's met weinig licht. De afbeelding hieronder toont een vergelijkbare dichtheidsvergelijking tijdens nachtelijk rijden.

Vergelijking tussen stereodichtheid (links) en LiDAR-dichtheid (rechts) 's nachts.
Videolink: https://youtu.be/QZM-5dIZSJk.

Nauwkeurigheid is natuurlijk een andere belangrijke maatstaf. Stereovisie biedt geen directe afstandsmetingen; in plaats daarvan biedt het afstandsschattingen. Bij stereo is afstand een afgeleide grootheid, een indirecte meting die wordt verkregen door twee helderheidsbeelden te verwerken. Hoe dan ook, stereovisie is meer dan in staat om het nauwkeurigheidsniveau te leveren dat nodig is voor autonome toepassingen op zowel lange afstanden (waar het nauwkeurig meten van afstand niet verplicht is) als korte afstanden (waar hoge precisie vereist is om precieze manoeuvres uit te voeren). Op korte afstand kan stereo bijvoorbeeld detectie bieden op millimeterniveau.

Wat zijn naast resolutie en nauwkeurigheid nog andere sterke punten van moderne stereo?

1. Elk van de twee camera's in een stereopaar kan worden gebruikt als onafhankelijke monoculaire camera's, wat een ingebouwd redundant systeem oplevert.
2. De dubbele beelden van stereocamera's kunnen worden gebruikt om monoculaire CNN-algoritmen parallel uit te voeren , zoals objectclassificatie, allemaal op één chip.
3. Stereovisie biedt de mogelijkheid om generieke 3D-vormen te detecteren, zelfs die welke niet zijn geclassificeerd als bekende obstakels. Stenen, diverse soorten puin of willekeurige voorwerpen die uit een ander voertuig zijn gevallen (bijvoorbeeld een ladder of matras) worden gedetecteerd door een stereosysteem. Zelfs negatieve obstakels, zoals gaten, kunnen nauwkeurig worden gedetecteerd.
4. Stereocamera's zijn relatief goedkoop, een belangrijke overweging voor toepassingen met een hoog volume. Ze hebben ook geen bewegende delen, kunnen automatisch worden gekwalificeerd en verbruiken minimaal stroom.
5. Stereovisie kan werken met framesnelheid (30 fps voor ultra-HD-beelden). Omdat onze stereo-engine is aangesloten op onze stereo-compatibele chips, kan Ambarella's stereovisie extreem hoge gegevenssnelheden genereren.
6. Automatische kalibratie van stereocamera's. Om stereovisie te laten functioneren, moeten de posities van de twee camera's ten opzichte van elkaar vast blijven; anders zijn de gemeten gegevens onjuist. Typische rijomstandigheden, waar trillingen en schokken de norm zijn, kunnen een uitdaging zijn voor op stereo gebaseerde systemen. Ambarella erkent dit en heeft een realtime automatische kalibratieprocedure ontwikkeld die kleine camerabewegingen kan compenseren die normaal gesproken optreden tijdens normale voertuigactiviteiten. Dit zorgt ervoor dat onze stereovisieverwerking nauwkeurig blijft.

Voor informatie over onze stereo-compatibele SoC's (CV2FS en CV2AQ zijn onze huidige stereovisie-compatibele onderdelen), klik hier.

Alberto Broggi
Algemeen directeur, Ambarella