Zoals u ongetwijfeld weet, is Embedded Vision Summit de belangrijkste conferentie en expo gewijd aan praktische, inzetbare computervisie en visuele kunstmatige intelligentie (AI) en machine learning (ML). Het is niet verrassend dat Lattice een regelmatige exposant en presentator is op de top, omdat het ons een geweldige kans biedt om onze nieuwste en beste apparaten, tools, technologieën en oplossingen te benadrukken.
Ik was dit jaar een spreker op het evenement en presenteerde hoe flexibiliteit in de AI/ML-ontwikkelingsstroom de sleutel is om producten op tijd, binnen het budget en met de juiste waardepropositie op de markt te brengen. Ik heb me in het bijzonder gericht op AI/ML-pijplijnen die zijn gericht op apparaten met beperkte middelen om te worden ingezet op de Edge waar internet de echte wereld ontmoet en in contact staat met de echte wereld.
De meeste Edge-toepassingen beschikken over verschillende soorten sensoren met een verscheidenheid aan elektrische interfaces en communicatieprotocollen. De gegevens die van deze sensoren worden verkregen, vereisen doorgaans voorverwerking en aggregatie voordat ze in de AI/ML-engine worden ingevoerd voor inferentiedoeleinden. In veel gevallen is het nodig om sensorfusie uit te voeren; het proces van het combineren van sensorgegevens die afkomstig zijn van verschillende bronnen, aangezien de gecombineerde informatie minder onzeker is dan wanneer die bronnen afzonderlijk zouden worden geanalyseerd.
Evenzo moet de AI/ML-inferentie-engine van het neurale netwerk zelf flexibel zijn. Er worden voortdurend nieuwe netwerkarchitecturen geïntroduceerd en er komen voortdurend nieuwe soorten operators op het toneel. Als de AI/ML-engine van een ontwikkelteam niet flexibel genoeg is om volledig te kunnen profiteren van deze nieuwe ontwikkelingen, dan gaan hun concurrenten “hun lunch opeten”, zoals het oude gezegde luidt.
Na de inferentie moeten de resultaten worden gepresenteerd aan de doelgroep, die mensen en/of andere machines en systemen kunnen zijn. In alle gevallen zal het nodig zijn om de inferentieresultaten na te bewerken voordat ze aan hun beoogde doelgroep(en) worden gepresenteerd.
Het komt erop neer dat er behoefte is aan flexibiliteit bij elke stap in de ontwikkeling pijpleiding. Daarom hebben we onze Lattice sensAI™-oplossingenstack gemaakt.
De sensAI-oplossingenstack
Deze stapel omvat hardwareplatforms, IP-cores, softwaretools, referentieontwerpen en demo's en aangepaste ontwerpservices. In het geval van hardwareplatforms kunnen ontwikkelaars kiezen uit verschillende FPGA-families, waaronder de Lattice iCE40™ UltraPlus (voor ultrakleine, ultra-low-power toepassingen), MachXO3D™ (voor platformbeheer en beveiliging), CrossLink™- NX (voor embedded vision-toepassingen) en ECP5™ (voor algemene toepassingen).
FPGA's bieden programmeerbare input/outputs (I/O's) die kunnen worden geconfigureerd om verschillende elektrische interfacestandaarden te ondersteunen, waardoor ze kunnen communiceren met een breed scala aan sensoren. Lattice biedt ook een overvloed aan harde en zachte IP-blokken om verschillende communicatieprotocollen te ondersteunen
De volgende stap is het uitvoeren van voorverwerking en gegevensaggregatie, waarvoor de sensAI-stack een reeks IP-kernen biedt voor taken zoals bijsnijden, vergroten of verkleinen en schalen. De programmeerbare FPGA-structuur maakt het mogelijk deze rekenintensieve gegevensverwerkingstaken op een enorm parallelle manier uit te voeren, waardoor hoge prestaties worden geboden terwijl ze weinig stroom verbruiken.
Zoals eerder werd opgemerkt, vereist het neurale netwerk zelf veel flexibiliteit om nieuwe netwerktopologieën en operators te kunnen ondersteunen. De sensAI-stack bevat een reeks zachte neurale IP-netwerkkernen en -versnellers die snel en eenvoudig kunnen worden aangepast om het evoluerende AL/ML-landschap volledig aan te pakken.
Als nog een ander voorbeeld van flexibiliteit, zijn er onder de meerdere implementatievoorbeelden van de sensAI-stack twee van bijzonder belang. In één daarvan is de AI/ML-inferentie-engine geïmplementeerd in een programmeerbare structuur, waardoor een energiezuinige, krachtige oplossing wordt geboden die geschikt is voor toepassingen met hoge snelheid voor beeldverwerking. In de andere is de neurale netwerkinferentie-engine geïmplementeerd op een RISC-V-processorkern, waardoor een ideale oplossing wordt geboden voor AI/Ml-taken die stil op de achtergrond kunnen worden uitgevoerd, zoals toepassingen voor voorspellend onderhoud.
Introductie van sensAI Studio
Een van de echt “hot news” items die Lattice aankondigt op de Embedded Vision Summit is dat de nieuwste en beste versie van de stack, sensAI 4.0, ondersteuning biedt voor het nieuwe Lattice sensAI Studio-ontwerp omgeving, die end-to-end AI/ML-modeltraining, -validatie en -compilatie mogelijk maakt.
Nieuw in de sensAI-oplossingenstack is Lattice sensAI Studio, een op GUI gebaseerde tool voor het trainen, valideren en compileren van ML-modellen die zijn geoptimaliseerd voor Lattice FPGA's. De tool maakt het gemakkelijk om te profiteren van transfer learning om ML-modellen te implementeren.
Dit webgebaseerde framework, dat kan worden gehost in de cloud of op de eigen servers van de ontwikkelaars, ondersteunt meerdere gelijktijdige gebruikers die aan dezelfde of verschillende projecten werken. De sensAI Studio biedt een gebruiksvriendelijke GUI-gebaseerde omgeving waarmee gebruikers de doel-FPGA kunnen selecteren, I/O's kunnen configureren, AI/ML-model-IP met slepen en neerzetten, en pre- en post-processing IP, en verbinding kunnen maken. alles bij elkaar. Deze nieuwe versie van sensAI ondersteunt ook de Lattice Propel-ontwerpomgeving voor het versnellen van embedded RISC-V-processorgebaseerde ontwikkeling.
Naast TensorFlow AI/ML-modellen, bevat sensAI 4.0 ondersteuning voor TensorFlow Lite om het stroomverbruik te verminderen en de co-processing van gegevens te verbeteren in AI/ML-inferentietoepassingen (TensorFlow Lite werkt overal van 2 tot 10 keer sneller op een Lattice FPGA dan het doet op een ARM® Cortex®-M4-gebaseerde MCU). Bovendien kan sensAI 4.0, door gebruik te maken van de vooruitgang in compressie en snoeien van ML-modellen, beeldverwerking ondersteunen bij 60 FPS met QVGA-resolutie of 30 FPS met VGA-resolutie.
sensAI studio ondersteunt ook het nieuwste en beste AI/ML-ontwerp technieken, zoals transfer learning waarbij een voor een taak ontwikkeld model wordt hergebruikt voor een gerelateerde taak, of om het uitgangspunt te bieden voor een model om een nieuwe taak uit te voeren. Transfer learning is ook interessant als je een AI/ML-model dat je al hebt getraind op één processor, zoals een microcontroller, wilt overzetten naar iets kleiners met hogere prestaties dat minder stroom verbruikt, zoals een Lattice FPGA.
Sreepada Hegade
Senior manager voor ML-software en -oplossingen, Lattice Semiconductor
