Wat is intelligente fotografie? Deel III: Verschillende beeldbestandsformaten en de mysterieuze YUV begrijpen

Zoals besproken in eerdere blogartikelen, betekent het maken van een foto dat uw camera gegevens vastlegt, die worden gebruikt om een digitale afbeelding. Elke afbeelding die u op een display ziet, is een afbeeldingsbestand. Afbeeldingsbestanden zijn er in verschillende formaten en elk is geoptimaliseerd voor een specifiek gebruik. De keuze voor het afbeeldingsbestand hangt af van het vereiste kwaliteitsniveau en het benodigde niveau van nabewerking.

Als een van de belangrijkste technologieleveranciers voor embedded imaging-oplossingen, overwegen we de keuze op basis van onze ervaring . De hier gepresenteerde formaten blijken de meest optimale te zijn voor mobiele beeldverwerkingsoplossingen met vereisten voor snel computergebruik, laag stroomverbruik en laag geheugengebruik.

Laten we enkele van de meest voorkomende formaten doornemen in volgorde van afbeeldingsbestandsgrootte en hoe deze van invloed zijn op het eindresultaat.

Het is RAW

Een RAW-beeldbestand van een camera bevat minimaal verwerkte gegevens van de beeldsensor en is meestal niet gecomprimeerd. RAW-afbeeldingen bieden de hoogste beeldkwaliteit en zijn gemakkelijker te manipuleren als het gaat om belichting, contrast en witbalans. Daarom hebben ze de voorkeur van professionele fotografen, die tijdens de nabewerking volledige controle willen hebben over de kwaliteit. RAW-beelden kunnen niet als zodanig op beeldschermen worden geprojecteerd.

RAW-formaat definieert de onbewerkte gegevens van een beeldsensor, wat meestal een Bayer-patroon is. In plaats van dat elke pixel R-, G- en B-waarden heeft (Rood, Groen en Blauw), wordt elke pixel in een 2×2 raster toegewezen aan één kleur. De ontbrekende kleuren die nodig zijn om een ​​volledig RGB-beeld te maken, worden berekend, d.w.z. geïnterpoleerd, uit aangrenzende pixels. De gebruikte interpolatiemethoden variëren en zijn vaak een compromis tussen verwerkingstijd en beeldkwaliteit.

Het is ook goed om te weten dat elke camerafabrikant zijn eigen RAW-bestandsindeling heeft. Als het om mobiele telefoons gaat, maken de meeste Android-telefoons die het RAW-beeldformaat ondersteunen opnamen in DNG, een meer universeel formaat dat door Adobe is ontwikkeld. Apple heeft hun eigen ProRAW-formaat ontwikkeld.

Bayer-patroon met elke pixel in een 2×2 raster toegewezen aan één kleur

Good old RGB

RGB is een kleurmodel dat u op elk digitaal display kunt zien. In dit model kunnen alle kleuren op het display worden weergegeven door drie primaire kleuren: rood, groen en blauw. Elk van deze kan worden opgenomen in een computer in 1 byte (8 bit) en daarom heeft een pixel in een monitor 3 bytes aan informatie – één byte voor rood, groen en blauw. Elke pixel wordt gepresenteerd met 3 verschillende lichtbronnen en het RGB-beeld vertelt de intensiteit van het licht in elke bron.

Dit formaat kan onnodige geheugenruimte in beslag nemen tijdens beeldverwerking wanneer bijvoorbeeld alleen grijs beeld (luminantie) is nodig.

Originele afbeelding en de primaire kleuren van het RGB-model

YUV

Om de verwerkingstijden en geheugenvereisten te verminderen, kunnen afbeeldingen worden geformatteerd naar YUV-formaat. YUV lijkt op het RGB-kleurmodel, maar met YUV kunnen we de bestandsgrootte heel gemakkelijk drastisch verkleinen. Het menselijk oog is gevoeliger voor licht en helderheid dan voor verschillende kleuren en YUV-weergave van kleur maakt hiervan gebruik. In dit formaat worden de helderheid (luminantie) en kleur (chrominantie) gescheiden tussen Y- en UV-beelden. Y is een grijsschaalafbeelding en UV vertegenwoordigt de coördinaten in een UV-kaart.

Er zijn veel subformaten van YUV, en een veelgebruikte (vooral op Android-apparaten) is YUV420. In dit formaat heeft elke pixel een grijswaarde, maar voor 4 pixels wordt dezelfde kleur gebruikt. Dit resulteert in een klein verlies in kleurnauwkeurigheid, maar is vaak acceptabel en bevredigend voor het menselijk oog.

In het RGB-model moeten we 3 bytes (24 bits) gebruiken om een ​​kleur vast te leggen. In YUV-model is niet voor elke pixel een nieuwe kleur nodig en daarom is slechts de helft van de geheugenruimte nodig in vergelijking met een RGB-bestand. Af en toe is alleen een grijze afbeelding nodig, en het YUV-model stelt ons in staat om alleen het Y-gedeelte te verwerken in plaats van alle R-, G- en B-waarden. Zowel RGB als YUV hebben hun sterke en zwakke punten, dus als u zich afvraagt ​​welke beter is, hangt het antwoord af van de toepassing.

Een afbeelding met zijn Y´-, U- en V-componenten

Beeldbestandsgroottevergelijking tussen de niet-gecomprimeerde RAW, YUV en RGB

Beeldverwerking kan het meerdere keren kopiëren en openen van de gegevens inhouden. Minder gegevens betekent minder tijd en energie die per afbeelding wordt gebruikt en daarom heeft YUV de voorkeur in sommige embedded imaging-toepassingen. RGB-beeldbestanden kunnen onnodig veel data verbruiken, en zelfs de 10-bits RAW-indeling zou minder data-intensief zijn als voorbewerking, zoals witbalans, nodig is.

JPEG-compressie

Na verwerking verdient het de voorkeur om de afbeeldingen te comprimeren tot JPEG-afbeeldingen die veel kleiner zijn en minder opslagruimte nodig hebben. Voor weergave moet JPEG opnieuw worden gedecomprimeerd naar RGB. De gecomprimeerde afbeeldingen zijn resultaatafbeeldingen, dus voor beeldverwerking worden de bovenstaande formaten gebruikt.

De hoeveelheid JPEG-compressie wordt meestal gemeten als een percentage van het kwaliteitsniveau. Een afbeelding met 100% kwaliteit heeft (bijna) geen verlies, en 1% kwaliteit is een afbeelding van zeer lage kwaliteit. Over het algemeen worden kwaliteitsniveaus van 90% of hoger als hoge kwaliteit beschouwd, 80%-90% is middelmatige kwaliteit en 70%-80% is lage kwaliteit. Alles onder de 70% is meestal een afbeelding van zeer lage kwaliteit.

JPEG compressievoorbeeld

Over Visidon:

Visidon LinkedIn-pagina

Visidon op Instagram

Visidon is gespecialiseerd in de ontwikkeling van snelle en energiezuinige beeld- en videoverwerkingstechnologieën. Onze softwareproducten omvatten bijvoorbeeld automatische verbetering van de beeldkwaliteit, computationele beeldvorming en gezichtsherkenning.

Onze technologieën maken gebruik van de nieuwste microprocessorarchitecturen en machine learning-algoritmen, speciaal voor embedded industrieën. Onze oplossingen zijn te vinden in meer dan 1 miljard mobiele telefoons.