Contents
Het ontwerpen van een energiezuinig edge artificial intelligence (AI)-systeem en tegelijkertijd een snellere time-to-market kan vervelend worden in de afwezigheid van de juiste tools en software van een embedded processor leverancier. Uitdagingen zijn onder meer het selecteren van het juiste deep learning-model, training en optimalisatie van het model voor prestatie- en nauwkeurigheidsdoelen, en het leren van eigen tools voor modelimplementatie op de embedded edge-processor.
Van modelselectie tot implementatie op een processor, TI biedt gratis tools, software en services die zijn ontworpen om u te helpen bij elke stap van de ontwikkelingsworkflow van het diepe neurale netwerk (DNN). Laten we door het selecteren van een model lopen, uw model overal trainen en het naadloos implementeren op een TI-processor zonder handgereedschap of handmatige programmering, voor hardware-versnelde gevolgtrekking.
Stap nr. 1: uw model
De eerste taak bij de ontwikkeling van edge AI-systemen is het selecteren van het juiste DNN-model, rekening houdend met de prestatie-, nauwkeurigheids- en vermogensdoelen van uw systeem. Tools zoals de TI edge AI-modeldierentuin op GitHub en kunnen u helpen dit proces te versnellen.
De modeldierentuin is een grote verzameling populaire open-source deep learning-modellen van TensorFlow, PyTorch en MXNet-frameworks. De modellen zijn vooraf getraind op een openbare dataset en geoptimaliseerd om efficiënt te werken op TI-processors voor edge AI. TI werkt de modeldierentuin regelmatig bij met de nieuwste modellen van de open-sourcecommunity en met door TI ontworpen modellen om u de ruimste keuze aan voor prestaties en nauwkeurigheid geoptimaliseerde modellen te bieden.
Met honderden modellen in de modeldierentuin, kan de TI-modelselectietool, zoals weergegeven in afbeelding 1, u helpen snel het juiste model voor uw AI-taken te vergelijken en te lokaliseren door prestatiestatistieken te bekijken en te vergelijken, zoals inferentiedoorvoer, latentie, nauwkeurigheid en bandbreedte met dubbele datasnelheid zonder een enkele regel code te schrijven.
Figuur 1: TI-modelselectietool
Stap nr. 2: Uw model trainen en verfijnen
Na het selecteren van uw model is de volgende stap om het model te trainen of te verfijnen voor de beste prestaties en nauwkeurigheid op TI-processors. Met onze software-architectuur en ontwikkelomgeving kunt u uw model overal trainen.
Wanneer u een model uit de TI-modeldierentuin selecteert, kunt u met trainingsscripts snel de modellen op de aangepaste dataset voor uw specifieke taak overdragen en trainen zonder lange cycli te besteden aan helemaal opnieuw trainen of het met de hand bewerken van het model. Voor uw eigen DNN-modellen helpen trainingsscripts, framework-uitbreidingen en kwantisatiebewuste trainingstools u bij het optimaliseren van uw model.
Stap nr. 3: modelprestaties evalueren
modelprestaties evalueren op de werkelijke hardware is vereist voordat een edge AI-applicatie kan worden ontwikkeld.
Met de flexibele software-architectuur en ontwikkelomgeving van TI kunt u uw model overal trainen en het compileren en implementeren op TI-hardware met slechts enkele regels code met behulp van uw favoriete industriestandaard Python of C++ application programming interfaces (API's) van TensorFlow Lite, ONNX RunTime of de TVM en SageMaker Neo met Neo AI DLR runtime engine. Aan de achterkant van deze industriestandaard runtime-engines kunt u met onze TI Deep Learning (TIDL)-modelcompilatie en runtime-tools uw model voor TI-hardware compileren, de gecompileerde grafieken of subgrafieken implementeren op de deep learning-hardwareversneller en de beste gevolgtrekking krijgen prestaties van de processor zonder enig handgereedschap.
Tijdens de compilatiestap maakt de kwantiseringstool na de training automatische conversie van drijvende-kommamodellen naar vaste-kommamodellen mogelijk. Deze tool maakt gemengde precisiekwantisatie op laagniveau (8 en 16 bit) mogelijk via het configuratiebestand, wat voldoende flexibiliteit biedt om de modelcompilatie af te stemmen voor de beste prestaties en nauwkeurigheid.
Bewerkingen in verschillende populaire modellen verschillen. De TI edge AI-benchmarktool, ook op GitHub, helpt je om DNN-modelfunctionaliteit naadloos af te stemmen op modellen uit de TI-modeldierentuin en dient als referentie voor aangepaste modellen.
Er zijn twee manieren om de modelprestaties op een TI-processor te evalueren: de TDA4VM starterkit-evaluatiemodule (EVM) of de TI Edge AI Cloud, een gratis online service die toegang op afstand van de TDA4VM EVM mogelijk maakt voor de evaluatie van de prestaties van deep learning-inferentie . Verschillende voorbeeldscripts voor verschillende taken en runtime-enginecombinaties helpen bij het programmeren, implementeren en uitvoeren van versnelde inferentie op TI-hardware in minder dan vijf minuten, terwijl benchmarks worden verzameld.
Stap nr. 4: Ontwikkeling van edge AI-applicaties
U kunt open-source Linux® en industriestandaard API's gebruiken om uw model op TI-hardware te implementeren. Het implementeren van uw deep learning-model op een hardwareversneller is echter slechts een stukje van de puzzel.
Om u te helpen snel een efficiënte edge AI-toepassing te bouwen, heeft TI het GStreamer-framework aangenomen. Met GStreamer-plug-ins die op host Arm®-kernen draaien, kunt u automatisch een end-to-end signaalketen versnellen voor rekenintensieve taken naar hardwareversnellers en digitale signaalverwerkingskernen.
Afbeelding 2 toont de softwarestack en componenten van de processor SDK met Linux voor edge AI.
Figuur 2: Processor SDK met Linux voor edge AI-componenten
Conclusie
Als je meer een beginner bent en je afgeschrikt voelt door de tools die Ik heb in dit artikel besproken, wees gerust dat je geen AI-expert hoeft te zijn om een AI-model te ontwikkelen en te implementeren of een AI-toepassing te bouwen. De TI edge AI Academy helpt je de basisprincipes van AI te leren en inzicht te krijgen in een AI-systeem en softwareprogrammering in een klassikale omgeving in je eigen tempo met quizzen. De labs presenteren stapsgewijze code voor het bouwen van een “Hello, World” AI-applicatie, terwijl een end-to-end geavanceerde applicatie met camera-opname en weergave je in staat stelt om met succes een AI-applicatie in je eigen tempo te ontwikkelen.
Aanvullende bronnen
- Meer informatie over het inschakelen van praktische embedded intelligence.
- Bekijk documentatie voor edge AI-tools
Manisha Agrawal
Product Marketing Engineer, Texas Instruments
