The Syntiant Journey en de doordringende NDP

Syntiant's ultra-low-power AI-verwerking maakt altijd-aan spraakbediening mogelijk voor bijna elk apparaat op batterij, via oordopjes naar laptops

Rond de tijd dat Syntiant in 2017 werd opgericht, had onze mede-oprichter en CEO Kurt Busch een gloeilampmoment. Terwijl hij zijn jongste kind met zijn iPad zag praten, zag hij een enorme kans om kunstmatige intelligentie (AI) en machine learning (ML)-innovatie te stimuleren in spraakgestuurde systemen en de manier waarop ze werken te transformeren.

Flash forward naar januari 2021, en Syntiant heeft twee AI-chips op de markt gebracht, meer dan 10 miljoen eenheden verzonden, zijn technologie laten certificeren op Amazon Alexa en geëerd op CES. Het bedrijf haalde meer dan $ 65 miljoen aan durfkapitaal op bij enkele van de grootste investeerders en bedrijven ter wereld, waaronder Amazon, Applied Materials, Bosch, Intel Capital, Microsoft en Motorola. Alles in minder dan vier jaar.

Wat er tussendoor gebeurde, is een bewijs van teamwork, visie en een laserfocus op ons team om snel, efficiënt en kosteneffectief opvallende producten te leveren.

Om te begrijpen hoe we hier zijn gekomen, gaan we terug naar 2017. Destijds wilde iedereen silicium ontwikkelen voor enterprise en server-side machine learning: er waren niet veel mensen die edge- en endpoint-AI deden. Maar we zagen, voortbouwend op de openbaring van Kurt, een enorme open markt die nog niemand had aangepakt: een verbeterde stem op het eindpunt zou de mens-machine-interface (HMI) naar een nieuw niveau van bruikbaarheid brengen. We wilden onze expertise op het gebied van ontwerpen met extreem laag stroomverbruik benutten in combinatie met onze visie om ML-programmering eenvoudig te maken en technologie te ontwikkelen voor edge- en andere op batterijen werkende eindpuntapparaten.

Ontsnappingssnelheid bereiken

Maar de hamvraag bij startups is hoe je snel en efficiënt tot je eerste prototype en je eerste volumeproduct komt. Die snelheid en productiviteit helpen je niet alleen om je technologie eerder de wereld in te krijgen dan concurrenten, het helpt je ook een verhaal op te bouwen dat je investeerders blijft vertellen terwijl je het bedrijf ontwikkelt. Dit was des te belangrijker voor ons omdat het vanaf het begin ons doel was om onze technologie produceerbaar te maken in miljoenen eenheden.

We hebben in het begin twee belangrijke beslissingen genomen om onze wendbaarheid te garanderen: ten eerste, de oprichters verbonden met Evonexus, de startup-incubator in zowel Irvine als San Diego, Californië. Hier konden we kantoorruimte gebruiken, het netwerk en de kameraadschap van innovators en investeerders benutten, een octrooiportfolio samenstellen en startups vroegtijdig blokkeren en aanpakken met een relatief lage overhead en veel gedeelde middelen. Als u bijvoorbeeld iets moet testen, hoeft u niet de deur uit om een ​​scope van $ 100.000 te kopen of nieuwe MATLAB-licenties aan te schaffen. U kunt gebruikmaken van technologie en samenwerking die het ecosysteem van Evonexus al heeft.

Ten tweede raakten we betrokken bij een ander geweldig ecosysteem, Arm. We hebben Arm DesignStart gebruikt om onze processorkern te identificeren. We kozen voor de Arm Cortex-M0 en gebruikten die om alles te besturen, terwijl we al onze moeite en expertise in onze toegevoegde waarde staken: ons neurale netwerk.

In de zomer van 2017 bladerden onze vier oprichters door ML-papers en keken naar architecturen en maakten de audio-wakkerwoorden en -trefwoorden als de doeltoepassing. Tegen de tijd dat ik in november van dat jaar lid werd, kenden we de use-cases en de ruwe omvang van netwerken.

Van november tot onze tape-out van maart 2018 hebben we ons onophoudelijk gefocust op het ontwerp. We gebruikten Arm standaard cel- en geheugen-IP om eerst schattingen te maken van hoe het apparaat eruit zou gaan zien en onze doelstellingen voor snelheid, oppervlakte en vermogen te bepalen. Vrij snel wisten we dat we iets heel bijzonders hadden.

We gebruikten door de cloud ondersteunde EDA-tools, dus we hoefden geen datacenter op te richten, zoals we zouden hebben gedaan als we het bedrijf 20 jaar geleden waren begonnen. Slechts een paar laptops en een internetverbinding. We wisten het op dat moment niet, maar deze ervaring bereidde ons voor op hoe we begin 2020 als een groter bedrijf zouden moeten draaien, toen de pandemie het kantoor sloot en ons dwong om vanuit huis te werken. We hebben geen beat gemist.

Nauwkeurige activeringswoord, commandowoord en gebeurtenisdetectie met bijna nul stroomverbruik

Met ons eerste product, de NDP100 op basis van Syntiant Core 1 (onze neurale netwerkkern), hebben we realistische precisiedoelen gesteld en in het ontwerp bijna geheugencomputing gebruikt. We hebben de prestaties verder geoptimaliseerd door nauwgezet te analyseren waar en hoe gegevens worden verplaatst met het oog op lage latentie en siliciumvastgoedoverwegingen. We hebben alles in het werk gesteld om ervoor te zorgen dat het apparaat het probleem op de juiste manier aanviel met machine learning. We hebben nauwkeurige wekwoord-, commandowoord- en gebeurtenisdetectie geleverd in een klein pakket met bijna nul stroomverbruik. Ultra-low-power AI-verwerking maakt altijd-aan spraakbediening mogelijk voor bijna elk apparaat met batterijvoeding, van oordopjes tot laptops.

Naast onze toepassingsdoelen wilden we de implementatie van ML eenvoudig maken, zodat wetenschappers op het gebied van ML-algoritmen rechtstreeks van TensorFlow naar ons apparaat kunnen gaan, met andere woorden, het voor mensen heel gemakkelijk maken om zich op ons apparaat te richten en te trainen. We hebben dit bereikt omdat onze hardware-software machine learning-teams vanaf het begin op dezelfde locatie waren gevestigd. We hebben die functies niet in een silo gezet omdat ze van elkaar afhankelijk zijn. Door onze teams bij elkaar te brengen, hebben we het gemakkelijker gemaakt om de hiaten tussen domeinen te zien waar je daadwerkelijk technologische doorbraken kunt maken die het eindproduct onderscheiden.

In de drie jaar daarna hebben we veel geleerd, aanzienlijke gegevens verzameld, met honderden klanten gesproken en feedback gekregen. De NDP100 blijft de kerntechnologie met laag vermogen voor gebruiksscenario's voor wake-words. Met NDP120, dat is gebaseerd op Syntiant Core 2, krijgen we ongeveer 25x de berekening van Syntiant Core 1. We hebben onze initiële inspanningen uitgebreid met een krachtigere machine learning-oplossing voor sommige gebruiksscenario's en zijn in enkele van de krachtigere machine learning-bouwstenen gedoken. , zoals convolutionele netwerken en herhaling. Met de NDP120 kunt u veel gecompliceerdere structuren implementeren die tegenwoordig veel voorkomen in ML, maar nu op een energiezuinig eindpuntapparaat.

Zelfs voordat het silicium terug was, voerden we duizenden simulaties uit in onze cloudinfrastructuur met de volledige hardware- en software-integratie. Onze ontwikkelborden zijn gebouwd rond het Raspberry Pi-platform, zodat we onze technici overal ter wereld toegang op afstand kunnen bieden. Een uur nadat de NDP120-prototypes ons lab bereikten, herkende het ons Amazon Alexa wake-word-pakket. Ik denk niet dat ik zo snel een opvoeding heb gezien in mijn 25 jaar in de halfgeleiders. We zeggen dat we hard trainen en makkelijk vechten, toch? Nou, we hebben heel hard getraind voor de NDP120.

Ons engagement uitbreiden met Arm Arm Flexible Access

Onze inzet en focus hebben vruchten afgeworpen. In de zomer van 2019 werd de NDP100 door Amazon gecertificeerd voor gebruik in Alexa wake-word-ontwerpen, en vervolgens werd de NDP120 in januari geëerd als winnaar van de CES 2021 Innovation Award.

In de toekomst zal ons team profiteren van het momentum. We zijn van plan onze betrokkenheid bij Arm uit te breiden door gebruik te maken van het Arm Flexible Access-programma. Als we een krachtigere app-processor willen bouwen, kunnen we gewoon IP van Flexible Access pakken en hetzelfde doen als in het begin: de componenten bouwen en ervoor zorgen dat we het systeem kunnen samenstellen dat we willen. Er zijn geen langdurige contractonderhandelingen of toegangsproblemen. Het stelt ons gewoon in staat om met IP aan de slag te gaan om de juiste oplossing voor onze toepassing te vinden.

Deze tools zijn opwindend voor ons als innovators omdat we een sterkere brug bouwen tussen mens en machine. We zijn verhuisd van een team van 12 personen dat wake-woorden in de NDP100 aanpakt naar een wereldwijd team van meer dan 70 dat de NDP120 levert om veel krachtigere, verre spraak en multi-sensor use-cases aan te kunnen. We breiden de mogelijkheid voor de machine uit om meer te horen en een veel robuustere interactie met gebruikers te hebben. Je praat met je apparaat en je doet het op het eindpunt, zodat het niet naar de cloud hoeft te racen voor berekening. Het verlaagt de latentie, versnelt de resultaten en behoudt uw gegevensprivacy.

Dat alles in iets meer dan 3 jaar, dankzij de eenvoudige inspiratie die wordt gevonden in een jong kind dat tegen een machine praat. In de toekomst zijn de mogelijkheden echt eindeloos.

Dave Garrett, Ph.D.
Vice-president Hardware, Syntiant