Beeldverwerking optimaliseren voor computervisie

Hoe een automotive Tier 1-leverancier Atlas gebruikte om de nauwkeurigheid van het computerzicht met tot wel 48% mAP binnen enkele dagen te verbeteren

Computervisie is een fundamentele technologie in Advanced Driver Assistance Systems (ADAS) voor auto's voor het detecteren van voetgangers, voertuigen of verkeersborden. De hedendaagse vision-architecturen (optica, sensor en beeldsignaalprocessor) worden echter meestal handmatig ontworpen en afgestemd voor een aangename visuele beeldkwaliteit (IQ). ISP-afstemming moet ook worden gedaan voor elke nieuwe lens-sensorconfiguratie.

Beeldverwerking die visueel aantrekkelijke beelden voor het menselijk oog oplevert, is niet optimaal voor computervisie. Het vastleggen en annoteren van een nieuwe trainingsdataset met die specifieke cameraconfiguratie is ook enorm tijdrovend, kostbaar en onpraktisch. In plaats daarvan is een ISP-optimalisatieaanpak nodig die automatisch de computervisie-statistieken maximaliseert.

In deze case study hebben we de Atlas Camera Optimization Suite toegepast om automatisch de nauwkeurigheid van het computerzicht te maximaliseren voor een naar voren gericht zichtsysteem van een toonaangevend automotive niveau 1. Atlas werd gebruikt om de beeldverwerkingsfuncties van de Renesas V3H ISP van het systeem te optimaliseren in combinatie met de Sony IMX490 High Dynamic Range (HDR) beeldsensor om een ​​optimale ISP-configuratie te bepalen voor twee vooraf getrainde objectdetectiemodellen.

De voor Atlas geoptimaliseerde ISP-configuratie verbeterde de nauwkeurigheid van het YOLOv4-model van de klant met tot wel 28% Mean Average Precision (mAP) punten in vergelijking met de oorspronkelijke configuratie. Door de ISP te optimaliseren met een ander toepassingsspecifiek embedded vision-model werd de detectienauwkeurigheid verder verbeterd met tot wel 48% mAP-punten.

Naast de verbeterde nauwkeurigheid, optimaliseerde de geautomatiseerde workflow het systeem in een paar dagen in vergelijking met meerdere maanden van deskundige ISP-afstemmingsinspanningen die doorgaans worden gezien bij het gebruik van de handmatige afstemmingsworkflows van vandaag.

BELANGRIJKSTE TAKEAWAYS

• De nauwkeurigheid van het computerzicht kan worden verbeterd door camera-ISP's te optimaliseren – in plaats van af te stemmen – voor ofwel AI of klassieke computer vision-modellen.
• Elke combinatie van lens, sensor en ISP kan worden ondersteund om de visuele beeldkwaliteit te optimaliseren of de resultaten van computervisie te maximaliseren.
• Atlas-optimalisatie is zeer schaalbaar en kan worden gedaan in dagen versus de dure en maandenlange handmatige intensieve ISP-afstemmingsproces.

Het huidige ISP-afstemmingsproces voor camera's

Camera's zijn ontworpen en moeten worden afgesteld telkens wanneer een nieuwe lens of sensor wordt geïntegreerd met de ISP om een ​​subjectief aangename beeldkwaliteit (IQ) te bieden voor het bekijken, met een groeiend gebruik voor computervisie in veel veiligheidskritieke toepassingen.

De ISP van de camera heeft honderden parameters die elk pijplijnblok besturen.

Typische auto-beeldsignaalprocessor

Het afstemmen van de beeldkwaliteit is een zeer iteratief en complex handmatig proces waarbij een team van beeldvormingsexperts gedurende vele weken of maanden nodig is om de beste parameterinstellingen te bepalen voor elk ISP-blok binnen het programmaschema.

Typisch ISP-afstemmingsproces

Afstemmingsuitdagingen voor computervisie

Voor menselijk kijken kan dit nog steeds visueel goede IQ-resultaten opleveren, maar vereist schaarse deskundige middelen met specifieke ISP-domeinkennis. Outsourcing kan een aantal hiaten verhelpen, maar die teams hebben ook beperkte middelen. Omdat visuele IQ uiteindelijk subjectief is, is het moeilijk om te weten wanneer je klaar bent en moet elke keer dat een camera-onderdeel wordt gewijzigd, worden afgesteld. De kosten kunnen hoger zijn dan $ 50.000 per cameraprogramma en kunnen vele maanden duren. Deze aanpak is niet schaalbaar of voorspelbaar.

Dit proces biedt ook niet de optimale output voor computervisie.

• Imagingteams kunnen subjectief niet de beste beeldkwaliteit voor specifieke visie-algoritmen
• Vuistregels, zoals het verhogen van contrast en scherpte, generaliseren niet naar het modelleren van architectuur en trainingssets
• De zeer grote ISP-parameterruimte kan niet worden geëvalueerd binnen een praktisch tijdsbestek

Er is een alternatieve, op optimalisatie gebaseerde benadering vereist om de resultaten van computervisie te maximaliseren.

Atlas-camera-optimalisatie voor computervisie

Nauwkeurigheid en robuustheid onder alle omstandigheden is het doel voor computervisie, maar robuuste nauwkeurigheid onder alle omstandigheden is van het grootste belang voor veiligheidskritieke toepassingen, zoals auto's. Maar zoals we hebben gezien, werkt de huidige subjectieve en handmatig intensieve ISP-afstemming niet – en daarom is een verschuiving nodig van traditionele afstemmingsworkflows naar geautomatiseerde en metrische-gestuurde ISP-parameteroptimalisatie die wordt geboden door de Atlas Camera Optimization Suite.

<Atlas Camera Optimization Suite om resultaten van computervisie te maximaliseren

Atlas is de enige oplossing voor camera/ISP-optimalisatie die deze uitdaging aangaat en die in de handel verkrijgbaar is. Het past nieuwe solvers toe om de enorme en zeer robuuste parameterruimte aan te kunnen om de computervisiestatistieken voor elke camera- en vision-taak te maximaliseren. Meer informatie over Atlas.

De Atlas-workflow

Een kleine dataset van veld-RAW-beelden wordt vastgelegd met de doelcameramodule en geannoteerd. Het moet een distributie van afbeeldingen bevatten die het operationele bereik van de camera en use case-scenario's uitoefenen. De verdeling dekt de belichtingstijden en winsten waartoe de sensor in staat is in de verwachte scènes met weinig tot fel licht, inclusief High Dynamic Range (HDR), en laag tot hoog contrast. De dataset moet ook een goede dekking hebben van de klassen en objectgroottes van het doeldetectormodel. Als metrische gegevens over de beeldkwaliteit moeten worden geëvalueerd of geoptimaliseerd, wordt ook een kleine set RAW-labgrafiekafbeeldingen vastgelegd.

Aangezien het doel is om een ​​ISP te optimaliseren en niet om een ​​neuraal netwerk te trainen, kan deze dataset een orde van grootte kleiner zijn dan de datasets die nodig zijn voor het trainen van neurale netwerken, d.w.z. slechts enkele honderden of duizenden afbeeldingen in plaats van honderdduizenden of miljoenen geannoteerde afbeeldingen, die is wat je normaal gesproken zou gebruiken voor het trainen van een netwerk.

Elk frame is gelabeld met belichting en krijgt informatie van de sensormodule, zodat de sensorstatus voor elk beeld bekend is. Die metadata wordt ook gebruikt in het optimalisatieproces, zodat de ISP-parametermodulatiefuncties kunnen worden gebouwd om de beeldkwaliteit te regelen voor de specifieke opnameomstandigheden.

Deze kleine RAW-beelddataset wordt door de ISP en in de detector geleid model. Nauwkeurigheidsmetrieken voor computervisie, zoals gemiddelde precisie en terugroepen van de gedetecteerde objectklassen, worden vervolgens geëvalueerd voor elke ISP-proefconfiguratie.

Algolux Atlas Camera Optimization Suite Workflow voor Computer Vision

KPI's voor visuele beeldkwaliteit kunnen direct op het beeld worden gemeten, maar voor computer vision-only systemen, hoe visueel aantrekkelijk de het uiterlijk van afbeeldingen is niet belangrijk zolang de uiteindelijke ISP-parameterconfiguratie het vision-model in staat stelt nauwkeurigere detecties te produceren.

Dit nieuwe optimalisatiekader wordt toegepast om de beste ISP-parameters te vinden die kunnen worden gebruikt voor een specifiek, vooraf getraind, diepgeworteld of klassiek computervisiemodel door de verliesfunctie van die nauwkeurigheids-KPI's te minimaliseren. Een belangrijke doorbraak van de Atlas-optimizer is het optimaliseren van deze zeer robuuste, niet-convexe ISP-parameterruimte.

Deze ISP-pijplijnen zijn niet differentieerbaar en optimaliseren niet noodzakelijk goed met typische op gradiënten gebaseerde benaderingen. Er kunnen null-ruimten in registers of niet-lineaire stapsgewijze gedragingen zijn als een ISP-parameter een drempel overschrijdt die intern is voor een algoritme, dus de optimizer moet robuust zijn en in staat zijn om de oplossingsruimte op te splitsen en te verkennen om aan het enorme aantal te ontsnappen van lokale minima.

Atlas-projecten vereisen enkele initiële optimalisaties om de juiste ISP-configuratie en convergentie te garanderen, en vervolgens een uiteindelijke optimalisatie om de resultaten te maximaliseren. Dit duurt meestal tussen de 4000 en 8000 proeven (of iteraties) gedurende een paar dagen om de parameterruimte te verkennen en samen te komen tot een geoptimaliseerd resultaat, afhankelijk van factoren als het aantal parameters en KPI-doelstellingen die worden geoptimaliseerd.

Dit optimalisatieproces kan ook worden toegepast om de afstemming van de visuele beeldkwaliteit te automatiseren en aanzienlijk te versnellen of te optimaliseren voor zowel computervisie als visuele beeldkwaliteitsdoelen.

Kijk hier om de case study te downloaden.