Het momentum achter ultra-high definition (UHD) of 4K-schermen is een van de interessantere groeigebieden in alle elektronica. Marktvoorspellers schatten dat het in 2019 ongeveer $ 48 miljard waard is en groeit met een CAGR van 23% van 2020-2025. Het potentieel voor aanzienlijk verbeterde kijk- en game-ervaringen heeft consumenten enthousiast gemaakt over de videokwaliteit die vier keer zo goed is als die van de vorige generatie schermen (UHD heeft ongeveer vier keer zoveel pixels als een Full HD-scherm, vandaar de naam).
Het probleem is dat contentproviders traag zijn geweest om echte 4K-content beschikbaar te maken. Er wordt tegenwoordig heel weinig 4K-content via de ether uitgezonden. Sommige omroepen bieden 4K-kanalen aan, maar de programmering is beperkt, meestal tot speciale evenementen. De meeste lineaire tv-programma's komen nog steeds door met een resolutie van 720p of 1080i. De meeste echte 4K-content is afkomstig van streamingproviders zoals Netflix, Disney+ en Amazon Video, en zelfs dat is aanzienlijk minder in hoeveelheid dan hun niet-4K-bibliotheken.
Een van de belangrijkste problemen is bandbreedte. Televisiezenders en IPTV-serviceproviders hebben simpelweg niet de bandbreedte om eindeloze 4K-streams van hoge kwaliteit tegelijk te bieden. Ze coderen dus Full HD-inhoud in plaats van Ultra HD. De gecomprimeerde Full HD-stream (met HEVC, H264, AV1, VPx) voldoet aan hun doel voor een redelijke bitrate en kan een redelijke kijkervaring produceren door traditionele video-upscalers op een UHD-tv bij een consument thuis te gebruiken. Maar zelfs de beste decoder en beste upscaler kunnen de fijnere details en texturen voor het UHD-scherm dat in de oorspronkelijke bron zat niet herstellen, omdat het verloren is gegaan tijdens het downscalen naar FHD.
AI biedt een oplossing
Een machine learning-model kan delen van de afbeelding classificeren, het oorspronkelijke uiterlijk afleiden en geschikte extra pixels genereren die het gewenste beeldverbeteringseffect hebben.
Maar de belangrijkste impact van AI op korte termijn voor aanbieders van videocontent kan geheel in een andere richting liggen. Op AI gebaseerde Super Resolution – een opkomende techniek voor het gebruik van diepgaande inferentie om de waargenomen resolutie van een afbeelding te verbeteren die verder gaat dan de resolutie van de invoergegevens – kan kijkers een meeslepende 4K Ultra High Definition (UHD)-ervaring bieden op hun 4K-tv's vanaf een Bron met FHD-resolutie.
Dit nogal niet-intuïtieve resultaat vertaalt zich in verrukking van gebruikers door het bereik van 4K-content dat plotseling voor hen beschikbaar is en operators die blij zijn met aanzienlijk verminderde opslag, externe caching en bandbreedtebehoeften – en de daaruit voortvloeiende energiebesparingen voor hun systemen – in vergelijking met wat ze zouden hebben waargenomen met streaming of uitzending van native 4K-inhoud.
Dit lijkt misschien een nogal academisch punt, want om het meest effectief te zijn, moet de ontvangende kant van Super Resolution worden uitgevoerd aan de uiterste netwerkrand: de gebruikersruimte en het apparaat. Maar de diepgaande inferentietaak van de ontvanger kan zeer rekenintensief zijn, vooral met de realtime-beperkingen van het streamen van video. Bij Synaptics hebben we kunnen aantonen dat de Neural Processing Unit (NPU), een compacte dieplerende inferentieversneller geïntegreerd in onze recente settop-SoC, in feite tot tevredenheid in realtime Super Resolution-beelduitbreiding kan uitvoeren van kritische kijkers. Bovendien zorgt de Synaptics-technologie ervoor dat de premium videocontent uit de handen van videopiraten blijft, zelfs wanneer deze wordt verwerkt door een ML-model dat op de NPU draait.
Synaptics biedt een dergelijke oplossing voor het implementeren van AI- gebaseerde Super Resolution met onze VS600-serie Multimedia SoC-platforms. Hiermee kunnen operators het gebruik van 4K-inhoudsbestanden beperken, waardoor ze een veel breder scala aan inhoud van 4K-kwaliteit kunnen aanbieden en tegelijkertijd opslag, cache en bandbreedte kunnen besparen. Maar om dit te doen, moeten ze ontvangende apparaten specificeren met neurale netwerkinferentieversnellerhardware: snel genoeg voor gegarandeerde realtime opschaling van elk frame, en met hardwarebeveiliging die bestand is tegen de intense controle van auteursrechteigenaren.
Lees meer over de details van een dergelijke oplossing in dit artikel in het tijdschrift Streaming Media.
Gaurav Arora
VP, Systems Design/Architecture, Synaptics
