Qualcomm Technologies kondigt de vernieuwing van het onderzoekslab aan voor nog eens vijf jaar
In 2014 verwierf Qualcomm Technologies een spin-off startup van de Universiteit van Amsterdam genaamd Euvision Technologies. Dit was een visionaire R&D-weddenschap voor Qualcomm. Euvision deed onderzoek naar machine learning voor computervisie, wat destijds een relatief nieuw onderwerp was voor Qualcomm. Het onderwerp machine learning haalde niet vaak de mainstream krantenkoppen. Voor de context zou het nog een jaar duren voordat Amazon Alexa lanceerde en nog eens twee jaar voordat Uber begon met het testen van auto's zonder bestuurder. Qualcomm realiseerde zich dat geavanceerde algoritmen voor computervisie en machine learning binnenkort op energiezuinige hardware zouden moeten draaien. Qualcomm werkte samen met de Universiteit van Amsterdam (UvA) om een gezamenlijk deep vision onderzoekslab te lanceren, dat ze QUVA lab noemden.
Het lab, onder leiding van professor Arnold Smeulders, professor Max Welling, professor Cees Snoek en universitair docent Efstratios Gavves kreeg autonomie om zijn eigen werk te ontwikkelen. Deze onderzoeksmethode kwam overeen met de diepe toewijding van Qualcomm Technologies aan O&D en was een manier om hoogwaardig wetenschappelijk onderzoek te ondersteunen, zonder de beperkingen van bedrijfsdoelstellingen op de korte termijn. De inzet betaalde zich uit. QUVA Lab publiceerde vervolgens papers op prestigieuze conferenties, zoals NeurIPS, ICML, CVPR en ICCV, en produceerde nieuw intellectueel eigendom, vaak in samenwerking met Qualcomm AI Research – een gevestigde inspanning bij Qualcomm Technologies met onderzoekers over de hele wereld. De focus van QUVA lab lag aanvankelijk op het snijvlak tussen computervisie en deep learning. In de loop van de tijd is het uitgebreid tot nog meer onderwerpen rond fundamentele machine learning, zoals privacy-beschermend deep learning, gedistribueerd deep learning en gelijkwaardige deep learning-algoritmen.
Van links naar rechts: Professoren Arnold Smeulders, Max Welling en Cees Snoek.
Voor 2020 hernieuwt Qualcomm Technologies met trots onze inzet voor het QUVA-lab voor nog eens vijf jaar, met veel spannende onderzoeksplannen voor de boeg. Met professor Arnold Smeulders (AS), professor Cees Snoek (CS) en professor Max Welling (MW), VP of Technology bij Qualcomm Technologies Netherlands B.V. en professor aan de UvA, hebben we virtueel stilgestaan bij de afgelopen vijf jaar in diepgaande visie en wat de toekomst van AI inhoudt.
Hoe is de perceptie van computervisie/deep vision veranderd in de afgelopen vijf jaar, sinds de start van het lab?
Arnold Smeulders: Computervisie was in de jaren negentig erg bezig met het oplossen van het algemene segmentatieprobleem. Dat komt omdat segmentatie het sleutelbegrip is dat mensen gebruiken voor visuele herkenning. “Een koe is een object met vier poten.” In feite is dit meestal verkeerd, omdat afbeeldingen van koeien vaak slechts twee poten laten zien, en het is een irrelevante uitleg omdat het geen poot definieert. Het is ook niet effectief omdat het veel uitzonderingen genereert: er zijn veel dingen met vier poten. Dus deze ontwerp-component, op regels gebaseerde benadering heeft een zeer beperkt nut voor visie. En langzaam werd ontdekt dat segmentatie bij veel computervisietaken niet echt nodig is. Het herkennen van een koe is afhankelijk van het identificeren van het dier, maar evenzeer van het groene gras waarop het staat. Om een object te grijpen, hoeft u alleen te bepalen waar de buitengrenzen zijn, enzovoort. In feite waren de systemen van 10 jaar geleden al gestapelde classificatie-algoritmen. Het beroemde artikel van Krishevski et al. kwam uit in 2012 en vanaf dat moment was het duidelijk dat neurale netwerken zoveel beter zijn in computervisie dan op componenten en regels gebaseerde algoritmische imitaties van de menselijke verklaring van afbeeldingen. Neurale netwerken zijn homogeen; vandaar dat ze theorie op een veel hogere en fundamentelere schaal mogelijk maken om de prestaties te optimaliseren dan component voor component die nodig was voor de eerdere algoritmische modellen. QUVA ontstond kort na de geboorte van neurale netwerken in computervisie.
Cees Snoek: Toen we in 2015 met het QUVA-lab begonnen, had deep learning al een grote impact op computervisie, maar er waren nog steeds alternatieve technologieën . Wat de meesten van ons heeft verrast, was de snelheid waarmee de voortgang van deep learning werd voortgezet en het onderzoeksmomentum dat dit zou genereren in zowel de academische wereld als de industrie. Tegenwoordig is het bijna onmogelijk om een paper over computervisie te publiceren zonder een deep learning-verbinding.
Max Welling: Het hele veld wordt nu volledig gedomineerd door deep learning, dat bij uitstek geschikt is voor beeldgegevens. Het veld heeft zich snel ontwikkeld en kan videosequenties in realtime analyseren voor zelfrijdende auto's, het kan fotorealistische afbeeldingen genereren van gezichten die niet van echte gezichten te onderscheiden zijn, en nog veel meer.
Kun je iets geven? voorbeelden van onderzoeksprojecten waar je trots op bent, of waar je veel van hebt geleerd?
AS: Rein van den Boomgaard heeft in de beginjaren een verband afgeleid tussen min-max filters en Burgers partiële differentiaalvergelijking. Ik was erg trots om deze extreme uiteinden van wiskundige beschrijvingen van een beeldveld met elkaar te verbinden. Veel later kreeg Jasper Uijlings de inspiratie om bottom-up groepering in een afbeelding te definiëren op eenvoudige zelfordening in de afbeelding. Cees en ik hebben samen tien jaar lang samen de TREC-VID gewonnen door hard te werken. Verder ben ik trots als een promovendus zichzelf verrast met een bevinding die voorheen ondenkbaar was.
CS: Ik ben trots op al mijn onderzoekswerk en alleen door te leren van mislukkingen kunnen we echte vooruitgang boeken. Een voorbeeld in de context van het QUVA-lab waar ik trots op ben, is het werk aan VideoLSTM. Eerst en vooral vanwege de diepe visiebijdragen die het levert aan de LSTM-architectuur voor activiteitsherkenning en lokalisatie in video. Ten tweede omdat het tot stand is gekomen door een samenwerking met studenten van het QUVA-lab en onderzoekers van Qualcomm AI Research Amsterdam. En last but not least, omdat het drie patentaanvragen heeft opgeleverd.
MW: Misschien twee voorbeelden van dingen waar ik trots op ben: we hebben ontdekt hoe we backpropagation kunnen uitvoeren in een neuraal netwerk met pieken, wat voorheen een struikelblok was. En ten tweede hebben we een algoritme ontworpen dat leert efficiënt te zoeken in combinatorische ruimtes, dat we nu gebruiken om fysieke ontwerpen voor chips te verbeteren. Aan de mislukte kant had ik hoge verwachtingen van het ontwikkelen van een privacybeschermende deep learning-architectuur, maar de methode bleek uiteindelijk niet erg concurrerend in vergelijking met wat al was ontwikkeld.
De pandemie heeft een speedup in ML-onderzoek toegepast op gebieden zoals digitale gezondheid, contacttracering, enz. Wat denkt u dat de impact (indien aanwezig) zal zijn op het onderzoek van QUVA lab?
CS: De missie van het QUVA-lab is om onderzoek van wereldklasse naar diep zien te doen. In de wetenschap is het belangrijk om je te concentreren en je niet te veel te laten afleiden door de waan van de dag. Het is natuurlijk niet om de impact en het belang van COVID-19 te onderschatten, maar wanneer men zich richt op fundamentele problemen, komen de toepassingen vanzelf. Voor digitale gezondheid in de context van COVID-19 heeft het werk van het QUVA-lab op het gebied van federatief leren direct nut voor het traceren van contacten en ons werk aan activiteitsherkenning maakt het mogelijk om sociaal afstandsgedrag te monitoren, om maar twee voorbeelden te noemen.
Wat zie je nu als de meest veelbelovende trends in deep vision?
AS: De meest veelbelovende trend is de integratie van bestaande kennis over afbeeldingen, doeleinden en beeldvormingsprincipes met de universele principes die de huidige ontwikkeling van neurale netwerken sturen. Dus het vinden van de juiste balans tussen generalisatie en differentiatie en dat toepassen op het doel en de omstandigheid is de grootste uitdaging. We staan nog in de begindagen van neurale netwerkarchitecturen in computervisie.
CS: De diepe visie van vandaag gedijt op goed gedefinieerde classificatieproblemen waarbij men leert om labels te associëren met pixels met behulp van enorme hoeveelheden rekenkracht. Voor mij dagen de meest veelbelovende trends deze status-quo uit door van leren naar associëren over te gaan naar het voorspellen van de oorzaak van een effect, terwijl de behoefte aan label-supervisie door middel van fysieke simulaties, generatieve modellen of zelfsupervisie wordt verminderd, en dit doen op een rekenefficiënte manier.
MW: Ik zal antwoorden op ML. Ik geloof dat twee trends erg interessant zijn: het gebruik van versterkingsleren en Bayesiaanse optimalisatie voor combinatorische optimalisatieproblemen en het gebruik van kwantummechanica en kwantumberekening voor machinaal leren.
Gefeliciteerd, QUVA lab was net vijf jaar verlengd. Wat is de visie van het lab voor de komende jaren?
CS & AS: Bedankt, ook gefeliciteerd aan Qualcomm! De visie van het lab bouwt voort op de hierboven genoemde trends en uitdagingen, met een sterke nadruk op diepgaande machine learning-fundamenten, met onderwerpen als continu videoleren, videocompressie zonder toezicht en herkenning van activiteiten onder toezicht. Binnenkort komen er vacatures voor het lab vrij en ik hoop dat veel getalenteerde studenten zullen solliciteren om ons te helpen de visie te realiseren.
MW: Ik kijk echt uit naar meer intense samenwerkingen en nieuwe onderwerpen zoals degene die ik beschreef hierboven.
*Beeldsegmentatie is het proces waarbij aan elke pixel in een afbeelding een label wordt toegekend, zodat pixels met hetzelfde label bepaalde kenmerken delen.
Qualcomm AI Research is een initiatief van Qualcomm Technologies, Inc.
