Contents
Een blik op geselecteerd, baanbrekend onderzoek dat voortkomt uit Qualcomm AI Research
Kunstmatige intelligentie (AI) zorgt voor een revolutie in industrieën, producten en kerncapaciteiten door drastisch verbeterde ervaringen te bieden. Dit is echter nog maar het begin van de AI-revolutie. Het gebied van AI, met name deep learning, staat nog in de kinderschoenen en biedt enorme mogelijkheden voor verkenning en verbetering. De huidige diepe neurale netwerken worden bijvoorbeeld snel groter en gebruiken te veel geheugen, rekenkracht en energie. Om AI echt alomtegenwoordig te maken, moet het op het eindapparaat draaien binnen een krap budget voor stroom en warmte. Nieuwe benaderingen en fundamenteel onderzoek in AI, evenals de toepassing van dat onderzoek, zijn nodig om machine learning verder te bevorderen en de acceptatie te versnellen.
Dat is waar Qualcomm AI Research om de hoek komt kijken. Qualcomm Technologies heeft een rijke geschiedenis van fundamenteel onderzoek over technologieën die hebben geleid tot baanbrekende innovaties. Qualcomm AI Research brengt machine learning-onderzoekers uit de hele organisatie samen om een breed scala aan machine learning-onderwerpen te onderzoeken, van fundamenteel deep learning-onderzoek tot toegepaste AI. In deze blogpost bespreek ik kort opvallende onderwerpen die de breedte van ons onderzoek laten zien, van kwantisatie en leren zonder toezicht tot fundamenteel langetermijnonderzoek zoals kwantum AI. Voor een meer diepgaande discussie kunt u mijn webinar bijwonen.
Qualcomm AI Research stimuleert toonaangevend onderzoek en ontwikkeling in het hele AI-spectrum.
Kwantiseringsonderzoek voor energie-efficiëntie van neurale netwerken
Een gebied waar we veel aandacht aan hebben besteed, is onderzoek naar optimalisatie van neurale netwerkmodellen voor verbeterde energie-efficiëntie en prestaties. Door de grootte van het neurale netwerkmodel te verkleinen, kan AI opschalen en alomtegenwoordig worden. Kwantisering vermindert de precisie van het neuraal netwerkgewicht en activeringsberekeningen, wat resulteert in een lager vermogen, lagere geheugenbandbreedte, minder opslag en hogere prestaties. De uitdaging bij kwantisatie is het behouden van de nauwkeurigheid van het model en het automatiseren van het proces. We hebben op beide fronten aanzienlijke vooruitgang geboekt en verleggen de grenzen van wat mogelijk is met kwantisering.
Ons doel is om bitbreedtes te kwantificeren met behoud van nauwkeurigheid, toenemende automatisering, minder benodigde gegevens en minimale training. We hebben het afgelopen jaar drie kwantiseringsmethoden geïntroduceerd om deze problemen aan te pakken:
- Gegevensvrije kwantisering (DFQ) is een geautomatiseerde methode die vertekening en onbalans in gewichtsbereiken aanpakt. Het vereist geen training, is gegevensvrij en stelt ons in staat om 8-bits kwantisering te bereiken zonder veel nauwkeurigheid te verliezen.
- AdaRound (Adaptive Rounding) zet vraagtekens bij de gebruikelijke afrondingsmethode en creëert een geautomatiseerde methode om de beste afrondingskeuze te vinden. Het bouwt voort op gegevensvrije kwantiseringsmethoden, vereist geen training en heeft slechts minimale niet-gelabelde gegevens nodig. Het stelt ons in staat om 4-bit gewichtskwantisatie te bereiken zonder veel nauwkeurigheid te verliezen.
- Bayesiaanse bits is een nieuwe methode om kwantisatie met gemengde precisie te leren. Het vereist trainings- en trainingsgegevens, maar het stelt ons in staat om samen de bitbreedte-precisie te leren en om knooppunten te snoeien. Het automatiseert mixed-precision quantisatie en maakt de afweging tussen nauwkeurigheid en kernel bit-breedte mogelijk, wat resulteert in state-of-the-art resultaten.
We zijn erg verheugd om deze verbazingwekkende vooruitgang te zien bij kwantisering. Met deze verschillende kwantiseringsopties kunnen AI-ingenieurs en -ontwikkelaars de methode selecteren die bij hun behoeften past en de juiste afwegingen maken. We zijn veel dichter bij het maken van kwantisatie een no brainer voor neurale netwerkinferentie.
Ik ben ook verheugd om de snelheid te zien waarmee ons toonaangevende kwantiseringsonderzoek wordt gecommercialiseerd en gedeeld met de gemeenschap via papers, open sourcing of SDK's. DFQ zit bijvoorbeeld al in de AI Model Efficiency Toolkit (AIMET), het open source-project van Qualcomm Innovation Center op GitHub en de Qualcomm Neural Processing SDK.
Ons toonaangevende kwantisatieonderzoek wordt snel gecommercialiseerd en gedeeld met de AI-gemeenschap.
Onbewaakt leren van RF voor nauwkeurige positionering
AI is een krachtig hulpmiddel, maar de sleutel is om AI intelligent toe te passen om de juiste uitdagingen op te lossen – bijvoorbeeld uitdagingen die moeilijk op te lossen zijn met traditionele methoden, maar veel gemakkelijker op te lossen met AI. Een van die uitdagingen is het bepalen van de precieze positie van een ontvanger op basis van radiofrequentiesignalen (RF). Radiogolven zijn overal om ons heen en er is een kans om ervan te leren. In dit onderzoeksgebied passen we onbewaakt leren toe op de RF-signalen om een centimeternauwkeurige positionering te bereiken.
Beschouw deze automatische assemblagelijn in de onderstaande afbeelding waar GPS en andere technieken onhaalbaar zijn. De omgeving is complex met veel onregelmatige vormen en bewegende apparatuur. Als we de exacte locatie van een medewerker aan de lopende band zouden willen weten (van de RF die de smartphone ontvangt), zou het erg complex zijn om de RF-voortplanting binnenshuis te modelleren met behulp van traditionele methoden. Met andere woorden, het is moeilijk om de locatie van de werknemer precies te weten, aangezien de RF-signalen die we meten, van verschillende paden kunnen komen als gevolg van reflecties, diffractie en verstrooiing van muren en verschillende onregelmatige objecten zoals robotarmen.
Onbewaakt leren van RF kan worden gebruikt voor nauwkeurige positionering aan een automatische assemblagelijn.
Voor dit soort complexe omgevingen of elk type indoor positionering, dachten we dat AI in combinatie met domeinkennis van fysica een goed hulpmiddel zou zijn om de complexe fysica van voortplanting te leren van de ongelabelde RF. We noemen deze hybride benadering 'neurale augmentatie', een technologie die neurale netwerken uitbreidt met menselijke kennis en algoritmen, of vice versa. Een voordeel van een neuraal netwerk dat de RF-omgeving leert, is dat het de precieze positie van de RF-ontvanger kan inschatten, en dus de locatie van de persoon.
Het neurale netwerk dat we hebben gemaakt, maakt gebruik van een generatieve auto-encoder plus conventionele kanaalmodellering (gebaseerd op de fysica van voortplanting) om te trainen op waarnemingen van niet-gelabelde kanaalstatusinformatie (CSI) en om de omgeving te leren kennen. Onze eerste resultaten van het implementeren van neuraal onbewaakt leren van RF voor positionering zijn veelbelovend. Het neurale netwerk leert de virtuele zenderlocaties tot aan starre lichaamstransformaties (verschuivingen, reflecties, rotaties) volledig zonder toezicht. Met een paar gelabelde metingen wordt de ambiguïteit van de kaart opgelost om positionering op cm-niveau te bereiken.
Kwantum AI voor exponentiële prestatieverbetering
Quantum computing is een hot veld en heeft de afgelopen jaren enorme vooruitgang geboekt. We doen fundamenteel onderzoek naar het toepassen van kwantummechanica op AI om significante prestatieverbetering te realiseren. Kwantummechanica beschrijft de natuur op microscopische schaal en heeft twee eigenschappen die we willen gebruiken voor AI-verwerking: superpositie en verstrengeling. Superpositie betekent dat elke kwantumbit, of qubit, tegelijkertijd zowel een 1 als een 0 is. Verstrengeling betekent dat qubits die onlosmakelijk met elkaar verbonden zijn, wat er met de een gebeurt, de ander onmiddellijk beïnvloedt.
De voortgang van ons onderzoek heeft ons geleid van klassieke bits (0 of 1), naar Bayesiaanse bits (een kansverdeling tussen 0 en 1), naar kwantumbits (die als bol kunnen worden gezien en een andere dimensie of vrijheidsgraad toevoegen).
We passen kwantummechanica toe op machine learning.
Het toepassen van kwantummechanica op machine learning is echt fundamenteel groenveldonderzoek. Quantum annealing en quantum deep learning zijn twee use cases die de exponentiële kracht van quantum computing kunnen benutten. Quantum annealing kan worden gebruikt voor combinatorische optimalisatieproblemen, zoals het ontwerpen van het fysieke ontwerp van een siliciumchip, om mogelijk een enorme prestatieverbetering te bieden. Quantum deep learning past de wiskunde van de kwantummechanica toe op deep learning om krachtigere algoritmen te ontwerpen.
We zijn erg enthousiast over onze eerste resultaten. We hebben een kwantumvervormd binair neuraal netwerk ontwikkeld, waarmee we een groot klassiek neuraal netwerk op een kwantumcomputer kunnen draaien of efficiënt kunnen simuleren op een klassieke computer. Bovendien kunnen we dit klassieke neurale netwerk vervormen om kwantumeffecten op te nemen en te laten zien dat we het nog steeds efficiënt kunnen trainen en uitvoeren. Dit is het eerste quantum binaire neurale netwerk voor realistische data! We kijken ernaar uit om verdere vooruitgang te boeken op het gebied van kwantum AI.
Bekijk mijn webinar om dieper in deze onderwerpen te duiken, evenals aanvullende onderzoeksgebieden, waaronder AI-radar, conditioneel computergebruik met gated neurale netwerken en eind- to-end AI-videocodecs.
Ook als je enthousiast bent over het oplossen van grote problemen met geavanceerd AI-onderzoek en het verbeteren van de levens van miljarden mensen, horen we graag van je. We werven voor verschillende vacatures voor machine learning.
Dr. Max Welling
Vice-president, Technologie, Qualcomm
