Edge AI – dezelfde taal spreken

Woorden kunnen meerdere betekenissen hebben. Als gevolg hiervan begrijpen mensen die betrokken zijn bij aangrenzende gebieden van de technologische industrie elkaar vaak verkeerd, zelfs als ze dezelfde termen gebruiken. Elke groep heeft zijn eigen referentiekader, geschiedenis en technische domeinexpertise.

Vooral gebieden van technologische cross-overs en convergentie zijn vaak beladen met categoriefouten, gebrekkige aannames – of gewoon slechte communicatie. Er is een aanzienlijk risico dat dit gebeurt op het gebied van Edge AI. Ten minste vier verschillende groepen interpreteren die term op zeer verschillende manieren.

Veel professionals in de cloud- en netwerkwereld hebben bijvoorbeeld geen idee wat er kan worden bereikt met geoptimaliseerde Edge AI op apparaten, op dit moment of waarschijnlijk binnenkort – en wat dat betekent voor hun eigen visie op de toekomst. Vooral de telecomindustrie lijkt het risico te lopen een belangrijke "verstoring van aangrenzende gebieden" te missen.

Dit artikel is bedoeld om deze mensen te helpen met elkaar te praten, elkaar beter te begrijpen anderen’ behoeften en verwachtingen – en help hen ook om slechte beslissingen te vermijden door een gebrek aan bewustzijn van bredere technische trends.

Als je vertegenwoordigers van de volgende industrieën hebt gevraagd om “woordassociatie” met de uitdrukking “Edge AI”, kunnen ze heel verschillende verklaringen suggereren:

Deep Neural Network (DNN) specialist

Iemand die zich bezighoudt met beelddetectie of spraakanalyse zou de trends in de richting van 'modelcompressie' kunnen noemen. of 'AI-optimalisatie', waarbij zware, resource-intensieve of trage cloudgebaseerde inferentie is verkleind om efficiënter te werken op een CPU of microcontroller op een apparaat, bijvoorbeeld een camera of smartphone. Dit is “AI aan de rand” voor hen. Het kan meerdere problemen oplossen, van een lagere latentie tot een lager energieverbruik (en betere rendabiliteit) voor AI.

IoT-systeemontwikkelaar

Iemand die betrokken is bij het bouwen van een verbonden voertuig, of de kwaliteitscontrole voor een slimme fabriek, zou kunnen denken aan een lokaal computerplatform dat in staat is om feeds van meerdere camera's en andere sensoren te combineren, misschien gekoppeld aan autonoom rijden of closed-loop automatisering. Hun “edge AI” bevindt zich op een server aan boord, of misschien een soort IoT-gateway-eenheid.

Mobiele netwerkoperator (MNO)

Een telecomserviceprovider die een 5G-netwerk bouwt, kan Edge AI zowel voor intern gebruik (om bijvoorbeeld de radioapparatuur efficiënter te laten werken) zien als als een extern klantgericht platform dat gebruikmaakt van verbindingen met lage latentie. De “mobiele rand” kan zijn gericht op een verbonden verkeersknooppunt, videoweergave voor een AR-game of het beveiligingscameraraster van een smart city. Hier, “Edge AI” is verweven met het netwerk zelf – zijn kernfuncties, “network slicing” capaciteiten, en misschien fysiek gelokaliseerd op een cellocatie of aggregatiekantoor. Het wordt gezien als een service in plaats van een ingebouwde mogelijkheid van het systeem.

Datacentrum & cloudproviders

Voor bedrijven die grootschalige computerfaciliteiten hosten, wordt AI gezien als een enorme bron van huidige en toekomstige cloudvraag. De infrastructuuraanbieders zullen echter vaak de verschillen tussen training en gevolgtrekking niet begrijpen, of zelfs de fijnere details van hun klanten. applicatie- en rekenbehoeften. “Edge” kan gewoon een datacenter-site in een tier-3-stad betekenen, of misschien een “mini-datacenter” gebruikers bedienen in een straal van 10-100 km.

Deze afzonderlijke visies en definities van “Edge AI” kan oplopen tot 10 ordes van grootte in termen van schaal en vermogen – van milliwatt tot megawatt. Het is dus niet verwonderlijk dat de gesprekken heel verschillend zouden zijn – en elke groep zou elkaars 'rand' waarschijnlijk niet herkennen. voor zover relevant voor hun doelen.

Dit zijn niet de enige categorieën. Andere zijn chip- en moduleleveranciers, serverleveranciers, automatiserings- en integratiespecialisten, cloud/edge-platforms en federatie-enablers, enzovoort. Daarbij komt nog een breed scala aan extra 'edge stakeholders'. – van investeerders tot beleidsmakers van de overheid.

Waarom is dit belangrijk? Omdat AI-toepassingen uiteindelijk passen in bredere ecosystemen, transformatieprojecten, consumenten- en zakelijke producten of zelfs overheidsbeleid en regelgevende regimes. In de meeste gevallen zullen al deze groepen zichzelf moeten organiseren in een waardeketen, of op zijn minst van elkaar afhankelijk zijn.

Het perspectief van de ontwikkelaar

Vaak richten edge-AI-marktdeelnemers zich – begrijpelijkerwijs – op wat zij zien als hun unieke mogelijkheden, of dat nu hun voorkeursmodellen zijn, hun fysieke locatie, netwerk-/systeemsnelheden en hun bestaande klantrelaties. En intern zijn ze op zoek naar nieuwe inkomstenmogelijkheden en use-cases om hun investeringen te rechtvaardigen, en om meer 'klanteigendom' te krijgen.

Maar de vragen die niet vaak genoeg worden gesteld, zijn: “Wat waardeert de ontwikkelaar – en de uiteindelijke eindgebruiker – echt?” Wat zijn hun beperkingen? En hoe zal dat hun beslissingskeuzes bepalen, nu of in de toekomst?”

Denk bijvoorbeeld aan een applicatieontwikkelaar die werkt aan een AI-aangedreven objectherkenningstool. Op dit moment heeft hun product een paar problemen om op te lossen. Met name de responstijden zijn laggy, wat de effectiviteit en marktkansen van de totale oplossing vermindert. Gezien de retourtijd van videobeelden van en naar de cloud, plus de aanzienlijke verwerkingsbelasting en inferentietijd, kunnen ze slechts één betrouwbare reactie per seconde krijgen, en de impliciete kosten betekenen dat het alleen geschikt is voor bepaalde hoge waardevolle taken.

Dat is prima voor het bewaken van drukte en verloren eigendommen in een treinstation – of het detecteren van een bepaalde parasitaire kever op een gewasblad – maar is niet handig voor het opsporen van defecten op een snelle lopende band of om te reageren op een hert dat voor een autonoom voertuig springt.

Voor de volgende versie van hun product hebben ze een reeks verschillende verbeterings- en optimalisatietrajecten die ze kunnen volgen:

• Streef naar use-cases met betrouwbare netwerkverbindingen met lagere latentie naar de cloud, bijvoorbeeld , door gebruik te maken van 5G, glasvezel of Wi-Fi6, die zijn ontworpen om end-to-end vertragingen tot een minimum te beperken.
• Lokaliseer sommige workloads in regionale minidatacenters (zeg 100 km verderop) in plaats van verre hyperscale faciliteiten (1000 + km afstand), vermindering van de lichtsnelheid en schakel-/routeringsvertraging.
• Gebruik geoptimaliseerde inferentiemodellen om de verwerkingstijd te verkorten en mogelijk op het eindapparaat of de nabijgelegen gateway zelf te passen.

Latentie is echter niet het enige criterium om voor te optimaliseren. In dit voorbeeldscenario stijgen de cloudcomputingkosten van de ontwikkelaar en worden ze geconfronteerd met steeds meer vragen van investeerders en klanten over privacykwesties en CO2-voetafdruk. Deze zorgen voor extra afwegingen in het besluitvormingsproces.

Op een hoog niveau zijn er inderdaad tal van technische en praktische beperkingen, zoals:

• • Betrouwbaarheid en nauwkeurigheid – handhaaft het nieuwe product vergelijkbare prestatieniveaus als de vorige (langzame maar betrouwbare) versie? Introduceert het nieuwe afhankelijkheden die de uptime en beschikbaarheid kunnen verminderen?
  • Energieverbruik (om milieuredenen of om de levensduur van de batterij te verlengen)
  • Connectiviteit – is de netwerkverbinding voorspelbaar (bijv. glasvezel naar een vaste machine in een fabriek of ziekenhuis) of intermitterend (bijvoorbeeld een IoT-systeem in een trein die door tunnels en afgelegen gebieden gaat)?
  • Privacy/datasoevereiniteit – hoeveel organisaties (of regeringen van landen) kunnen de data potentieel zien/onderscheppen? Zijn er AVG-kwesties in het spel?
  • Contractuele complexiteit met derden – bijvoorbeeld het omgaan met meerdere providers van netwerk- en computerbronnen, vooral waar SLA's en garanties mogelijk niet vergelijkbaar zijn.
  • Geheugen- en verwerkingsbron – op het apparaat of in edge/cloud-knooppunten. Dit aspect krijgt meer weerklank in een tijdperk van halfgeleidertekorten, waar het moeilijk kan zijn om nieuwe apparaten of servers te verkrijgen.
  • Vaardigheden en personeel – kunnen zij, of hun klanten, het nieuwe platform implementeren, onderhouden en problemen oplossen? Hebben ze bepaalde machtigingen of certificeringen nodig om toegang te krijgen tot specifieke sites, zoals clouddatacenters?
  • Enkele of meerdere apparaten betrokken – werkt de applicatie op zelfstandige sensoren of is de taak inherent een proces met meerdere apparaten? Een enkele camera kan bijvoorbeeld een deuropening bewaken of de infrarooddetector van een verwarmingsmonteur ondersteunen. Toch kan een stadsplein of het pad van een robot door een fabriek tientallen inputs nodig hebben om te combineren.

Als we deze lijst doornemen – en ook alle andere AI-gerelateerde taken overwegen, van audio-/spraakanalyse tot big data-trendanalyse voor digitale tweelingen – is er geen enkelvoudig “antwoord” naar de beste benadering van Edge AI. In plaats daarvan zal het sterk afhankelijk zijn van het gebruik.

De implicaties van AI op het apparaat en modelcompressie

Er zijn talloze benaderingen voor het optimaliseren van AI-modellen, zowel voor server-side compute als voor optimalisatie op het apparaat. Uit de vorige discussie blijkt dat als gelokaliseerde inferentie haalbaarder wordt, het zich waarschijnlijk zal uitbreiden naar veel use-cases, vooral die welke onafhankelijk kunnen worden uitgevoerd op afzonderlijke, zelfstandige apparaten. Dit heeft mogelijk aanzienlijke voordelen voor ontwikkelaars van AI-systemen, maar ook minder gunstige implicaties voor cloud- en netwerkproviders met lage latentie.

Overweeg iets dat intens privé is, zoals een audio-analysator aan het bed die slaapapneu, overmatig snurken en andere ademhalingsstoornissen detecteert. De markt voor een dergelijk product zou aanzienlijk kunnen groeien als er een garantie zou komen dat persoonlijke gegevens op het apparaat blijven in plaats van in de cloud te worden geanalyseerd. Het model kan worden getraind in de cloud, maar inferentie kan worden uitgevoerd aan de rand. Indien van toepassing kan het resultaten communiceren met medische professionals en onbewerkte gegevens uploaden als de gebruiker dit later toestaat, maar lokale verwerking zou in eerste instantie een goed verkoopargument zijn.

Disruptive Analysis spreekt regelmatig vertegenwoordigers van de datacenter- en telecomwereld, vooral in verband met nieuwe netwerktypes zoals 5G. Er is heel weinig bewustzijn of begrip van de rol van computergebruik op het apparaat of AI – of hoe snel het evolueert, met verbeteringen in processorhardware of optimalisatie van neurale netwerken.

Zelfs in telecomsectoren die meer op camera's zijn gericht zoals videoconferenties, lijkt er weinig bewustzijn te zijn van een verschuiving terug van de cloud naar edge (of precies waar die Edge is). Er is recentelijk een besef geweest van de conflicten tussen end-to-end-codering en AI-gestuurde taken zoals achtergrondvervaging en live audio-ondertiteling, maar dat is slechts een van de compromissen die mogelijk aan het verschuiven zijn.

De problemen op de middellange termijn die onderschat lijken te worden, hebben te maken met energiebudgetten en privacy. Als modelcompressie en Edge AI op het apparaat niet alleen “groener” in termen van impliciete CO2-voetafdruk, maar ook het verminderen van de invasiviteit van massale gegevensverzameling in de cloud, dan kan het snel worden omarmd door veel eindgebruikersgroepen. Het kan ook de aandacht trekken van beleidsmakers en regelgevers, die momenteel een zeer telecom/cloud-gerichte kijk hebben op edge computing.

Ondanks deze verschuiving is het belangrijk om de impact op de bredere cloud- en netwerkmarkt niet te overdrijven. Dit verandert de berekening voor sommige use-cases (met name realtime analyse van beeld-, video- en soortgelijke gegevensstromen) – maar het doet niet af aan veel van de bredere veronderstellingen over toekomstig dataverkeer en de waarde van krachtige netwerken, draadloos of bedraad.

Wanneer alle deelnemers aan de markt elkaars taal- en technologietrajecten begrijpen, zouden we hopelijk minder slechte aannames en minder onrealistische hype moeten zien. Over de hele linie zijn er enorme vorderingen gemaakt – van halfgeleiders tot DNN-optimalisatie tot netwerkprestaties. Maar elk afzonderlijk is geen hamer voor alle doeleinden – het zijn hulpmiddelen in een ontwikkelaars’ toolkit.

Geïnteresseerd in het onderwerp en meer willen weten? Bekijk de archiefopname van onze paneldiscussie waarin inzichten van experts in Edge AI, Cloud AI, Telecommunicatie, Deep Learning, Semiconductor Design en meer zijn gecombineerd om de dialoog rond AI-duurzaamheid te voeden.

Dean Bubley
Oprichter, Disruptive Analysis