DNN-modeloptimalisatieserie: deel III – Bereik tot 30x DNN-modelcompressie (met behoud van nauwkeurigheid!)

Welkom terug bij de DNN-modeloptimalisatiereeks! Ons recente artikel over de unieke optimalisatiesoftware van Deeplite, Neutrino™, heeft de prijs “Best Deployed System” gewonnen op Innovatieve toepassingen van kunstmatige intelligentie 2021. Voor deze gelegenheid hebben we besloten om dit nummer van de serie DNN-modeloptimalisatie te wijden aan een diepe duik in de kampioen onderzoekspaper.

AI en deep learning, met name voor edge-apparaten, winnen aan kracht en beloven de digitalisering van veel verticale markten mogelijk te maken. Ondanks alle opwinding is het inzetten van deep learning makkelijker gezegd dan gedaan! In een van onze vorige blogposts hebben we al gekeken waarom je je DNN-modellen moet optimaliseren. Laten we eens kijken naar 'hoe' het Neutrino™-framework van Deeplite de optimalisatie van de steeds grotere AI-modellen aanpakt en de weg vrijmaakt voor eenvoudige implementaties in randapparaten met steeds meer beperkingen.

Neutrino™ is een end-to-end black-box-platform voor volledig geautomatiseerde DNN-modelcompressie die de modelnauwkeurigheid handhaaft. Het kan naadloos en soepel worden geïntegreerd in elke ontwikkelings- en implementatiepijplijn, zoals weergegeven in de onderstaande afbeelding. Geleid door de beperkingen en vereisten van de eindgebruiker, produceert Neutrino™ het geoptimaliseerde model dat verder kan worden gebruikt voor inferentie, ofwel direct geïmplementeerd op het edge-apparaat of in een cloudomgeving.

Deeplite's unieke manier om DNN-modellen te comprimeren

Wat heb je nodig om te beginnen?

1. Je vooraf getrainde DNN-model, M,
2. De feitelijke splitsing van treintestgegevens die u hebt gebruikt om het model, DLtrain en DLtest te trainen, en
3. De volgende reeks vereisten om de optimalisatie te begeleiden:

• Delta: De acceptabele tolerantie van nauwkeurigheidsdaling ten opzichte van het originele model, bijvoorbeeld 1%.
• Stage: De twee verschillende compressiefasen, terwijl fase 1 minder intensieve compressie vereist minder rekenbronnen, fase 2 biedt agressievere compressie met meer bronnen en tijd.
• Apparaat: voer de volledige optimalisatie en modelinferentie uit in CPU, GPU of multi-GPU ( gedistribueerde GPU-omgeving).
• Modulariteit: De eindgebruiker kan meerdere delen van het optimalisatieproces voor Neutrino™ aanpassen aan complexere scenario's. Deze aanpassing omvat gespecialiseerde data-loaders, aangepaste backpropagation-optimizers en ingewikkelde verliesfuncties die hun eigen bibliotheekimplementatie mogelijk maakt.

Het algoritme dat we hebben gebruikt om het DNN-model automatisch te begrijpen, analyseren en comprimeren voor een bepaalde dataset wordt hieronder uitgelegd.

De vier componenten van Neutrino™

1. Neutrino™ Model Zoo: om het gebruik voor de eindgebruiker te vergemakkelijken, een verzameling populaire DNN-architecturen met getrainde gewichten op verschillende benchmark-datasets worden geleverd als Neutrino™ Zoo.
2. Dirigent: Het doel van de dirigent is om alle geleverde inputs te verzamelen, de gegeven vereisten te begrijpen en de hele optimalisatiepijplijn dienovereenkomstig te orkestreren.
3. Verkenning: het is een grove compressiefase op hoog niveau, waar de componist selecteert verschillende transformatiefuncties voor de verschillende lagen in het DNN-model.
4. Uitgloeien: het is een fijnkorrelige agressieve compressiefase om de maximaal mogelijke compressie te verkrijgen binnen de vereiste tolerantie van nauwkeurigheid.

Het proces

In een van onze blogposts hebben we de top 10 vragen over het modelcompressieproces al beantwoord. Om het kort uit te leggen, bij Deeplite combineren we dynamisch verschillende optimalisatiemethoden voor verschillende lagen in een model om een ​​prachtig resultaat te creëren, waarbij maximale compressie wordt bereikt met minimaal nauwkeurigheidsverlies (en als we minimaal zeggen, menen we het! Bekijk de resultaten hieronder).

Laten we hier een voorbeeld bekijken. Ons vooraf getrainde model heeft Noptimaliseerbare lagen: {L1, L2, …, LN}. In een typisch CNN-model kunnen de convolutionele lagen en de volledig verbonden lagen worden geoptimaliseerd, terwijl de rest van de lagen worden genegeerd in het optimalisatieproces. De dirigent analyseert de grootte van de trainingsgegevens, het aantal uitvoerklassen, de modelarchitectuur en optimalisatiecriteria, delta, en produceert een samengestelde lijst, CL = {c1, c2, …, cN} van verschillende transformatiefuncties voor verschillende lagen in het model. Voor elke laag, Li, in het model, ziet de samengestelde functie ci er als volgt uit:

De uitdaging is om een ​​ideale maat r te vindendat zorgt voor een goede compressie met behoud van de robuustheid van het model. Wanneer r gelijk is aan de werkelijke grootte van de gewichtstensor van de laag, r = grootte (Wi), is er een overmatige benadering van de transformatie met een zeer lage compressie. Een zeer kleine afmeting, r → 0, produceert echter een hoge compressie met een verliesgevende reconstructie van de transformatie.

Fase 2 optimalisatie is gericht op het uitvoeren van agressieve compressie en het verkrijgen van de maximaal mogelijke compressie in de vereiste nauwkeurigheidstolerantie. Als de delta van nauwkeurigheid bijvoorbeeld 1% is en fase 1 een compressie van 4x produceert met een nauwkeurigheidsdaling van 0,6%, probeert fase 2 de compressie te bevorderen met een delta die zo dicht mogelijk bij 1% komt.

Hoe meten we de optimalisatie- en compressieprestaties?

Hier zijn de statistieken die we gebruiken om de mate van optimalisatie en prestaties van Neutrino™ te meten.

Nauwkeurigheid: We meten de top-1 nauwkeurigheid (%) van het model. Succesvolle optimalisatie behoudt de nauwkeurigheid van het oorspronkelijke model.

Modelgrootte: We meten de schijfgrootte (MB) die wordt ingenomen door de trainbare parameters van het model. Dankzij de kleinere modelgrootte kunnen modellen worden geïmplementeerd in apparaten met geheugenbeperkingen.

MAC's: we meten de rekencomplexiteit van het model aan de hand van het aantal (miljarden) Multiply-Accumulate Operation (MAC) berekend over de lagen van het model. Hoe lager het aantal MAC's, hoe beter het model is geoptimaliseerd.

Aantal parameters: We meten het totale aantal (miljoenen) trainbare parameters (gewichten en biases) in het model. Optimalisatie is bedoeld om het aantal parameters te verminderen.

Geheugenvoetafdruk: we meten het totale geheugen (MB) dat nodig is om de inferentie uit te voeren op een batch gegevens, inclusief het geheugen dat nodig is voor de trainbare parameters en de laagactiveringen. Een lagere geheugenvoetafdruk wordt bereikt door betere optimalisatie.

Uitvoertijd: We meten de tijd (ms) die nodig is om een ​​voorwaartse pass op een batch gegevens uit te voeren. Geoptimaliseerde modellen hebben een kortere uitvoeringstijd.

DNN-modelcompressieresultaten met Neutrino™

Alle optimalisatie-experimenten worden uitgevoerd met een eindgebruikerseis van nauwkeurigheidsdelta van 1%. De experimenten worden uitgevoerd met een mini-batchgrootte van 1024, terwijl de statistieken zijn genormaliseerd voor een mini-batchgrootte van 1. Alle experimenten worden uitgevoerd op vier parallelle GPU's, met behulp van Horovod, en elke GPU is een Tesla V100 SXM2 met 32GB geheugen.

< td>0.2067

&nbsp ;

< td>Geheugen (MB)

< td>0.2372

< td>0.1606

Afhankelijk van de architectuur van het originele model, kan worden vastgesteld dat de modelgrootte ergens tussen ∼3x en ∼30x kan worden gecomprimeerd. VGG19 staat bekend als een van de sterk overgeparametriseerde CNN-modellen. Zoals verwacht, bereikte het een 29,22x reductie in het aantal parameters met bijna ∼12x compressie in de totale geheugenvoetafdruk en ∼een 8,3x reductie in rekencomplexiteit. Het resulterende VGG19-model neemt slechts 2,6 MB in beslagin vergelijking met het oorspronkelijke model dat 76,6 MB vereist.

De prestaties van Neutrino™ op grootschalige vision-datasets produceren ongeveer ∼23,5x compressie van ResNet18 op Imagenet16- en VWW-datasets. Het geoptimaliseerde model vereist slechts 1,8 MB in vergelijking met de 42,6 MB die nodig is voor het originele model.

Stage 1 vs. Stage 2 compressie

Cruciaal is dat kan worden opgemerkt dat Stage 2 het model minstens 2x meer comprimeert dan Stage 1 compressie. De totale tijd die nodig is voor optimalisatie door Neutrino™, inclusief fase 1 en fase 2, wordt weergegeven in de onderstaande afbeelding. Het kan worden opgemerkt dat de meeste modellen in minder dan ∼ 2 uur konden worden geoptimaliseerd. Complexe architecturen met langere trainingstijden, zoals Resnet50 en DenseNet121, nemen ongeveer ∼6 uur en ∼13 uur in beslag voor optimalisatie.

De vergelijking tussen de tijd die nodig is voor compressie van fase 1 en fase 2 wordt visueel weergegeven in de onderstaande afbeelding. Opgemerkt kan worden dat bijna 60-70% van de algehele optimalisatie wordt bereikt in fase 2, terwijl fase 1 minder dan ∼40% van de totale benodigde tijd in beslag neemt. Deze differentiatie fungeert als een belangrijk kenmerk van Neutrino™, waar eindgebruikers die snelle optimalisatie nodig hebben met minder hulpbronnenverbruik, kunnen kiezen voor fase 1. Daarentegen kunnen degenen die agressieve optimalisatie nodig hebben, voor fase 2 optimalisatie kiezen.

Productieresultaten van Neutrino™

Deeplite's Neutrino™ wordt ingezet in verschillende productieomgevingen en de resultaten van de verschillende verkregen use-cases zijn samengevat in de onderstaande tabel. Om de efficiëntie van de prestaties van Neutrino™ te demonstreren, worden de optimalisatieresultaten vergeleken met andere populaire frameworks op de markt, zoals (i) Microsoft's Neural Network Interface (NNI), Intel's Neural Network Distiller en (iii) Tensorflow Lite Micro. Er kan worden vastgesteld dat Neutrino™ consequent beter presteert dan de concurrenten door hogere compressie en een betere nauwkeurigheid te bereiken.

Hoe Neutrino™ gebruiken?

Het Neutrino™-framework is volledig geautomatiseerd en kan elke op convolutionele neurale netwerk (CNN) gebaseerde architectuur optimaliseren zonder menselijke tussenkomst. Neutrino™-framework wordt gedistribueerd als Python PyPI-bibliotheek of Docker-container, met productieondersteuning voor PyTorch en vroege ontwikkelingsondersteuning voor TensorFlow/Keras.

Dat was het voor nu, mensen! Onthoud dat compressie een cruciale eerste stap is om deep learning toegankelijker te maken voor technici en eindgebruikers op edge-apparaten. Het ontsluiten van zeer compacte, zeer nauwkeurige intelligentie op apparaten die we elke dag gebruiken, van telefoons tot auto's en koffiezetapparaten, zal een ongekende impact hebben op hoe we nieuwe technologieën gebruiken en vormgeven.

Heb je een vraag of wens ons om naar andere AI-modeloptimalisatieonderwerpen te kijken? Laat hier een reactie achter. We helpen u graag verder!

Geïnteresseerd om u aan te melden voor een demo van Neutrino™? Raadpleeg deze link.

Anush Sankaran
Senior onderzoekswetenschapper, Deeplite

Anastasia Hamel
Digital Marketing Manager, Deeplite