Visuele intelligentie voor IoT

Het was niet zo lang geleden dat computer vision-applicaties met AI/ML-intelligentie systemen met uitgebreide rekencapaciteit nodig hadden, veel geheugen en hoogwaardige industriële camera's. Het idee om computervisie met ML-capaciteit toe te voegen aan kostengevoelige IoT-edge-apparaten werd vaak overschaduwd door de realiteit van hoge stuklijstkosten die leidden tot lage productmarges voor iedereen, behalve voor de meest gespecialiseerde toepassingen.

Cloudgebaseerde oplossingen boden een mogelijk alternatief door de behoefte aan resourcerijke computersystemen aan de rand te verminderen. Met cloudgebaseerde oplossingen kunnen beeldverwerking en ML-inferentie worden overgeheveld naar resource-intensieve cloudcomputers. De kosten van cloudplatforminstanties, beveiligingsproblemen en jitter in reactietijd zorgden echter voor verschillende obstakels die een belemmering vormden voor de acceptatie van IoT.

Maar ondanks alle aanvankelijke tegenslagen is computervisie voor IoT edge-apparaten mogelijk. Arm's release van de hoogwaardige, kostengevoelige Cortex-M7-architectuur, in combinatie met de verbeteringen in NN-modeloptimalisatie, legden de basis voor computervisie en AI in IoT-edge-apparaten. De IoT Vision Sensor van Au-Zone Technologies maakt gebruik van NXP's op Cortex-M7 gebaseerde RT1060 met Au-Zone's sterk geoptimaliseerde DeepView ML-stack om de markt te verstoren met een echt kosteneffectieve computer vision-oplossing voor IoT edge-apparaten.

NXP RT1060

Arm introduceerde de Cortex-M7-architectuur met de bedoeling om ontwikkelaars met IP in staat te stellen kostengevoelige edge-apparaten te maken. NXP maakte gebruik van de Cortex M7-visie van Arm met de release van de NXP RT-crossover-serie die de kloof overbrugt die ontwikkelaars vaak tegenkomen wanneer ze worden geconfronteerd met beslissingen over MCU-prijspunten versus MPU-prestaties. De RT1060 biedt een prijs die in overeenstemming is met MCU's; en toch zijn de prestaties vergelijkbaar met moderne op Arm Cortex-A gebaseerde MPU's.

De rekencapaciteit en connectiviteitsopties maken de RT1060 ideaal voor energiezuinige, kostengevoelige computervisietoepassingen in IoT edge-apparaten.

DeepViewRT

Optimalisatie van het neurale netwerkmodel is van cruciaal belang voor ML op IoT edge-apparaten met beperkte resources. Au-Zone, een erkende toonaangevende leverancier van edge-based ML-oplossingen, levert de tooling die nodig is voor ML-optimalisatie met de DeepView Toolkit. De DeepView Toolkit is een uitgebreide AI/ML-ontwikkelomgeving, compleet met tools voor conversie, optimalisatie en profilering, evenals de sterk geoptimaliseerde inferentie-engine DeepViewRT.

DeepViewRT is bijvoorbeeld een verbazingwekkende 1/10 van de grootte van TF Lite. Vanwege het groottevoordeel van DeepViewRT in vergelijking met andere beschikbare oplossingen, kunnen ontwikkelaars profiteren van het gebruik van volledig nauwkeurige modellen met grotere nauwkeurigheid.

De DeepViewRT-inferentie-engine is ontworpen voor draagbaarheid over het hele spectrum van kernen die gebruikelijk zijn in de moderne SoC's van vandaag: van Cortex M tot Cortex A en GPU's. Met een prestatievoordeel van 2x tot 4x ten opzichte van TensorFlow en andere open source-alternatieven, blijkt de sterk geoptimaliseerde DeepViewRT-inferentie-engine een ideale oplossing te zijn voor veel computervisietoepassingen, waaronder objectdetectie, classificatie, segmentatie en tracking. Ondersteuning voor de toonaangevende frameworks, zoals TensorFlow, Caffe en anderen, evenals de nieuwste NN's van portals zoals TensorFlow Hub en Model Zoo stelt gebruikers in staat hun eigen modellen mee te nemen voor implementatie op de IoT-sensor.

IoT-zichtsensor

Door gebruik te maken van NXP's RT1060 en de zeer compacte DeepView ML Stack, verstoort Au-Zone's IoT Vision Sensor-referentieontwerp de markt met een geïntegreerde oplossing die het volgende omvat:

• Small Form Factor
• Low Stuklijstkosten
• Geïntegreerde AI/ML-intelligentie en
• Connectiviteit

Dit standalone IoT-camerareferentieontwerp is geoptimaliseerd voor zowel laag stroomverbruik als hoge prestaties. Dit is de eerste introductie van een reeks IoT Vision Sensor-camera-ontwerpen op basis van de NXP RT-cross-over-serie. Toekomstige productreleases van IoT Vision Sensor zullen een upgradepad naar de NXP bevatten.

Small Form Factor

De IoT Vision Sensor heeft een kleine en strakke vormfactor met een typische bordgrootte van 25 x 25 x 40 mm (exclusief de antenne).

Sub $50 Stuklijst Prijspunt

De IoT Vison Sensor heeft storende stuklijstkosten van minder dan $ 50 USD.

DeepView Toolkit

De geïntegreerde DeepViewRT-inferentie-engine is geoptimaliseerd voor topprestaties op de RT1060. Modelconversie en -optimalisatie wordt bereikt met de DeepView Toolkit ter ondersteuning van een breed scala aan computer vision-toepassingen. Geavanceerde beeldverwerkingsfuncties omvatten objectdetectie met behulp van een SSD-netwerk en objectclassificatie voor vooraf gedefinieerde interessegebieden. De DeepView Toolkit stroomlijnt de ontwikkelingsstroom voor het trainen, testen en valideren van neurale netwerken voor aangepaste gegevenstypen. De IoT Vision Sensor met de DeepView Toolkit is ontworpen om de ontwikkeling van aangepaste ML te streamen voor snelle prototyping en levering van het eindproduct.

Connectiviteit

Door ML aan de rand in te schakelen, wordt de apparaatintelligentie toegevoegd die nodig is om de gegevensbandbreedte tussen het apparaat en de cloud te verminderen. Voor apparaatrapportage en -beheer zijn er echter verschillende connectiviteitsopties beschikbaar voor lokale of externe interfaces, waaronder RS-485, Ethernet, WiFi en LPWA-modem.

De IoT Vision Sensor is een productieklare oplossing die snelle ontwikkeling mogelijk maakt voor edge-based ML computer vision-toepassingen. Met geavanceerde AI/ML-mogelijkheden in een compacte vormfactor tegen een ontwrichtende prijs, is het een aantrekkelijk ontwerp voor toepassingen in verschillende verticale marktsegmenten, waaronder Industrieel, Smart Home, Smart City, Consumenten, Gezondheidszorg, Landbouw, Transport en Logistiek. De IoT Vision Sensor kan worden gekocht voor prototyping, ontwikkeling en veldtesten met een laag volume voor ~ $199 USD. Bovendien kunnen het hardwareontwerp en de software door OEM's in licentie worden gegeven voor productie. Bezoek www.embeddedml.com voor meer informatie.

Brad Scott
Mede-oprichter en president, Au-Zone Technologies