Contents
Qualcomm AI Research toont aan dat 1280×704 HD-video in realtime wordt gedecodeerd met 30+ frames per seconde op Snapdragon 888
Vroeger vroegen de meeste mensen zich af wat de waarde van kunstmatige intelligentie (AI) is en wat het zou kunnen doen. Snel vooruit naar vandaag, en de vraag is geworden wat AI niet kan doen? Bij Qualcomm hebben we lang voor ogen gehad dat AI alomtegenwoordig zal worden, waardoor apparaten intelligente acties kunnen waarnemen, redeneren en ondernemen op basis van bewustzijn van de situatie. Het zal zowat elke ervaring verbeteren, conventionele algoritmen aanvullen of vervangen en zelfs problemen oplossen die als onoplosbaar worden beschouwd. Ik ben erg blij te kunnen delen dat Qualcomm AI Research onze nieuwste vooruitgang en wat mogelijk is met AI-technologie laat zien door 's werelds eerste HD neurale videodecoder in realtime op een commerciële smartphone te demonstreren. Laat me het belang van deze prestatie uitleggen.
De omvang van de video die wordt gemaakt en geconsumeerd is enorm
Videotechnologie heeft een revolutie teweeggebracht in de manier waarop we media maken en consumeren. Verbeteringen in videocompressie, die een verbeterde videokwaliteit bieden met minder bits, hebben geleid tot een brede acceptatie van video op een breed scala aan apparaten en services. In feite wordt verwacht dat 82% van het internetverkeer in 20221 uit video zal bestaan. Met deze explosieve groei van videoverkeer zijn verbeteringen in de videocoderingstechnologie van cruciaal belang voor het bieden van entertainment, het verbeteren van de samenwerking en het transformeren van industrieën in de komende jaren.
AI maakt toekomstige generatie videocodecs mogelijk
Om aan de stijgende vraag naar videoconsumptie te voldoen, voorzien we dat toekomstige videocodecs de volgende kenmerken zullen hebben:
- Directe optimalisatie van bitrate en perceptuele kwaliteitsstatistieken
- Vereenvoudigde codec-ontwikkeling< /li>
- Intrinsiek enorm parallellisme
- Efficiënte uitvoering en mogelijkheid om te updaten op geïmplementeerde hardware
- Downloadbare codec-updates
Neurale netwerkvideocodecs hebben het potentieel om al deze gewenste functies te bieden. Ze kunnen met name draaien op AI-hardwareversnellers die zijn ontwikkeld voor andere AI-toepassingen en kunnen ook een veel efficiëntere parallellisatie van entropiecodering mogelijk maken. Gedreven door dit potentieel is er de afgelopen jaren actief onderzoek gedaan naar neurale videocodecs, met indrukwekkende compressieprestaties en het dichten van de kloof met conventionele codecs.
Nurale videocodecs mogelijk maken op mobiele apparaten
AI-onderzoek van het laboratorium naar real-life scenario's brengen is vaak niet eenvoudig, en in dit geval is de praktische inzet van neurale videocodecs een uitdaging. De meeste bestaande AI-onderzoeken gebruiken high-end GPU's op de muur met drijvende-kommaberekening, en de neurale netwerkmodellen zijn vaak niet geoptimaliseerd voor snelle inferentie. Realtime gevolgtrekking uitvoeren op dit soort neurale decodermodellen is niet praktisch of haalbaar op mobiele apparaten met vaste reken-, stroom- en thermische beperkingen.
Met onze expertise in energiezuinige AI was ons doel om realtime intra-frame neurale videocodering op een commerciële smartphone te realiseren. We hebben verschillende optimalisaties doorgevoerd, zoals het herontwerpen van de netwerkarchitectuur voor minder complexiteit, het kwantificeren van het netwerk voor optimale prestaties op de AI-versnellingsprocessor, het benutten van parallelle entropiecodering en het gebruik van Qualcomm's technologische innovaties. Voor kwantisering hebben we de open-source AI Model Efficiency Toolkit (AIMET) van Qualcomm Innovation Center gebruikt. Het resultaat is 's werelds eerste demo die realtime HD neurale videodecodering op een mobiel apparaat laat zien.
In onze demo wordt een 1280 x 704 video, die zeer dicht bij HD 720p ligt, gedecodeerd met 30+ frames per seconde op een commerciële smartphone-power door Qualcomm Snapdragon 888-processor. Met name de parallelle entropie-decodering draait op de CPU en het decodernetwerk wordt versneld op de 6e generatie Qualcomm AI Engine. Bekijk de ingesloten video van dichtbij om te zien dat de rijke visuele structuren in uitdagende natuurtaferelen nauwkeurig worden bewaard door de neurale decoder, wat resulteert in een uitstekende weergave van scènes.
We' ben erg enthousiast over deze prestatie die het paradigma verschuift en hoe dit toekomstige videocodecs zal beïnvloeden. Houd ons in de gaten voor toekomstige werkzaamheden om dit uit te breiden met interframe-decodering in realtime op een mobiel apparaat.
1Cisco Annual Internet Report, 2018–2023
Dr. Jilei Hou
Vice-president, Engineering, Qualcomm Technologies
