Contents
Iets meer dan tien jaar geleden opgericht (waardoor het een van de oudste kunstmatige-intelligentiebedrijven is) beheersen vroege videogames – niet zodat machines mensen in de speelhallen konden verdringen, maar omdat ze kant-en-klare testbedden boden voor het toepassen van kunstmatige intelligentie op het probleem van leerbeleid.
Hoewel we het vaak hebben over trainingsmodellen voor classificatietaken (“er zit een tumor in deze röntgenfoto”), zijn dit relatief “gemakkelijke” taken omdat we, wanneer we gegevens hebben gelabeld, het juiste antwoord al weten, op tenminste voor de trainingsset. De echte wereld zit echter vol met open taken, waarbij we het doel kennen, maar niet hoe het te bereiken (bijvoorbeeld een schaakspel winnen). In AI-taal wordt het 'hoe' om tot een oplossing te komen een beleid genoemd. Echt goed worden in beleidstraining is waarschijnlijk een eerste vereiste om machines bruikbaar te maken in de echte wereld. (Voor meer informatie over dat onderwerp kun je luisteren naar het Intel on AI podcast-interview met Pieter Abbeel, oprichter van roboticabedrijf Covariant.)
DeepMind is gericht op de grote prijs: het creëren van systemen die kunstmatige algemene intelligentie (AGI) zullen bereiken. In een recente aflevering van de Intel on AI-podcast praat Colin Murdoch, Senior Business Director bij DeepMind, met Abigail Hing Wen, de bestsellerauteur van de New York Times, over enkele van de ongelooflijke vorderingen die het team van DeepMind heeft gemaakt tijdens de reis naar AGI.
Wat “algemene” intelligentie precies betekent, blijft een debat binnen de AI-gemeenschap. ACM Turing Award Laureaat Yann LeCunn zegt dat alle intelligentie gespecialiseerd is, inclusief menselijke intelligentie. De werkdefinitie van DeepMind is robuust praktisch: algemene intelligentie betekent AI die voor bijna alles kan worden gebruikt en op een continuüm zit.
“Als ik denk aan kunstmatige algemene intelligentie, is het voor mij , denk ik, gewoon een soort groeiende kegel van bekwaamheid. Ik kan me niet voorstellen dat we het op een dag niet zullen hebben, en de volgende dag wel.”
-Colin Murdoch
From Products to Deep Science
Colin ziet twee belangrijke fasen in de overgang naar AGI, waarvan de eerste het gebied is van het gebruik van AI-technologie om de wereldeconomie verder te digitaliseren door doorbraken in onderzoek naar nieuwe producten en diensten op te nemen. Dit is de toekomst is hier! Bedrijven zoals HuggingFace hebben slechts enkele weken nodig om nieuwe onderzoeksresultaten om te zetten in nieuwe productverbeteringen die even snel door hun klanten kunnen worden overgenomen. Hoewel de toekomst hier is, wijst Colin erop dat deze specifieke toekomst nog niet gelijk verdeeld is; we hebben nauwelijks het oppervlak van mogelijke toepassingen bekrast. In de tweede fase ziet Colin AI-systemen die zichzelf creëren en kunnen worden toegepast op diepgaande wetenschappelijke problemen (meer over dit onderwerp hieronder).
Voorlopig is het zijn taak bij DeepMind om de applicatiepijplijn te blijven uitbreiden, door onderzoeksteams die geavanceerde technologie hebben ontwikkeld, te matchen met productteams die op zoek zijn naar oplossingen voor specifieke problemen. Dit is een moeilijk probleem! Conventionele wijsheid is om te beginnen met een pijnpunt van de klant en achteruit te werken, wat goed werkt voor incrementele vooruitgang, maar niet noodzakelijk voor nieuwe productklassen. (Toen de microprocessor werd uitgevonden, had Intel precies dit probleem: klanten die elektronica bouwden ervan overtuigen dat ze wat minder moesten solderen en wat meer moesten coderen).
Colin grapt dat het soms voelt als rennen een datingservice. Niet elke date gaat goed, maar de pijl van Cupido lijkt bij veel gelegenheden de roos te hebben geraakt. In de podcast praten Colin en Abigail uitgebreid over slechts een paar projecten van DeepMind en hoe deze verder zijn ontwikkeld door Google.
AlphaFold
Misschien wel de meest opwindende doorbraak waar DeepMind aan heeft gewerkt, is een van de grote onderzoeksproblemen in de biologie: eiwitvouwing – hoe een aminozuursequentie de driedimensionale structuur van een eiwit bepaalt, wat op zijn beurt het vermogen van het eiwit om zijn functies uitvoeren. DeepMind heeft oorspronkelijk een neuraal netwerk getraind op een dataset van 30.000 bekende eiwitstructuren om AlphaFold te ontwikkelen. In een wedstrijd van december 2018 versloeg AlphaFold 98 deelnemers en voorspelde de meest nauwkeurige structuur voor 25 van de 43 eiwitten, en versloeg daarmee het team op de tweede plaats, dat de structuren voor slechts drie voorspelde, met een ruime marge.
Twee jaar later, in 2020, behaalde AlphaFold 2 een score van 92,4 GDT, bijna twee keer de nauwkeurigheid als in 2018 en wordt beschouwd als vergelijkbaar met de resultaten die zijn verkregen uit het maandenlange proces dat is uitgevoerd via experimentele methoden in een laboratorium. Colin is bijzonder verheugd om te zien hoe AlphaFold 2 de toekomstige ontdekking van geneesmiddelen zal helpen versnellen en gelooft dat het onderzoek toepasbaar zal zijn op een breed scala aan ziekten.
We hoeven niet op de toekomst te wachten om de voordelen van AlphaFold te zien , hoewel. Met behulp van de nieuwste versie van het AlphaFold-systeem heeft het team van DeepMind voorspellingen van de open source-structuur vrijgegeven van verschillende onvoldoende bestudeerde eiwitten die verband houden met SARS-CoV-2, het virus dat COVID-19 veroorzaakt.
Dit komt echter niet eens in de buurt van het meest opwindende gebruik van AlphaFold. Het kunnen voorspellen van de structuur van een sequentie kan worden gecombineerd met beleidsleren om eiwitten te ontwerpen. In dit scenario zou men beginnen met een therapeutisch doelwit (een receptor op het oppervlak van een cel, laten we zeggen), dan een eiwit ontwerpen en dan de DNA-sequentie uitvoeren die nodig is om dat eiwit te produceren. Geautomatiseerd ontwerp en validatie in silico (in tegenstelling tot in vitro of in vivo) heeft het potentieel om de pijplijn voor medicijnontwikkeling te transformeren. Zoals 2020 ons eraan herinnerde, heeft het comprimeren van ontwikkelingstijden van tientallen jaren tot weken een enorme sociale en commerciële waarde.
Graph Nets
In 2018 publiceerde een team van DeepMind, MIT en de Universiteit van Edinburgh het position paper “Relationele inductieve vooroordelen, diep leren en grafieknetwerken”, waarin wordt beargumenteerd hoe neurale netwerken van grafieken (Graph Nets) combinatorische generalisatie kunnen ondersteunen – het vermogen om nieuwe voorspellingen van bekende bouwstenen, die de basis kunnen leggen voor meer verfijnde redeneerpatronen. Met behulp van Graph Nets was het team van Google Maps later in staat om tijdsruimtelijk te redeneren door relationele leervooroordelen op te nemen om de verbindingsstructuur van echte wegennetwerken te modelleren.
Colin schat dat gebruikers van Google Maps meer dan een miljard kilometer per dag afleggen. Met behulp van die gegevens waren de twee teams van Google in staat om de nauwkeurigheid van realtime ETA's in steden als Berlijn, Jakarta, São Paulo, Sydney, Tokio en Washington D.C. te verbeteren. Dit is een goed voorbeeld van hoe eens AI de overstap maakt van onderzoek naar engineering wordt het net zo onzichtbaar als elk ander stukje software. (Andrew Ng maakt dit punt in zijn podcast-interview eerder in onze serie). Wanneer u een zoekopdracht uitvoert of uw telefoon een vraag stelt, ziet u het misschien niet als een AI-toepassing, maar dat is het wel.
WaveNet
WaveNet is een ander goed voorbeeld van hoe geavanceerde AI nu wordt gezien als een relatief standaardservice. In 2016 bracht DeepMind WaveNet uit: een diep generatief model van onbewerkte audiogolfvormen dat spraak kan genereren die een menselijke stem nabootst. Tegenwoordig wordt het systeem in bijna elke Google-service in meerdere talen gebruikt. Telkens wanneer u uw Google Map hoort vertellen dat “uw bestemming aan de rechterkant is”, luistert u naar een stem die is gemaakt door DeepMind. Ik herinner me nog de eerste keer dat ik naar WaveNet-sample-uitgangen luisterde: de stem bevatte aarzelingen en je kon gewoon “adem”-geluiden opvangen tussen sommige woorden. Mijn eerste gedachte was: “ze klinkt menselijker dan ik!”
In staat zijn om een realistische geautomatiseerde stem te creëren is krachtig! In aflevering tien van de podcast besprak Lama Nachman, directeur van Intel's Anticipatory Computing Lab, de AI-systemen die haar team heeft gebruikt om roboticus Peter Scott Morgan en wijlen Stephen Hawking te helpen. Hoe deze systemen op emotioneel niveau met mensen omgaan, kan verstrekkende gevolgen hebben, zoals Rana el Kaliouby in aflevering twaalf besprak. Mijn persoonlijke favoriet is het verhaal over hoe Siri van Apple een jongen met autisme heeft geholpen, een geheel toevallig 'bijkomend goed' dat moeilijk voor te stellen is zonder de emotionele kracht van het gesproken woord.
In de podcast zinspeelt Colin op toekomstige mogelijkheden om WaveNet te gebruiken voor videocontent en andere vertaaldiensten. Als Europeaan ben ik me terdege bewust van het voordeel dat mijn talen me bieden op het gebied van toegang tot informatie. Als kind had ik baat bij een huis met twee volledige encyclopedieën. Als volwassene krijgen mijn kinderen enorm veel waarde van Wikipedia tegen een marginale prijs van $ 0 met toegang tot een telefoon en wifi. Maar deze toegang is afhankelijk van de taal: mijn Engelssprekende kinderen werken zich een weg door 6 miljoen Engelstalige inzendingen, maar zelfs een grote Afrikaanse taal als Kiswahili (met ongeveer 100 miljoen sprekers) heeft slechts ongeveer 68.000 Wikipedia-artikelen. Machinevertaling transformeert de toegang tot informatie op een manier die letterlijk sciencefiction was toen ik een kind was. (Herinner je je de babyvis nog?)
Grote problemen oplossen
Net als Colin wil ik dat AI echt grote problemen oplost, zoals energieverbruik en productie. Datacenters gebruiken een enorme hoeveelheid energie, waaronder een groot deel om complexe koelsystemen te laten draaien. (Rebecca Weekly van Intel heeft geschreven over hoe we samenwerken met het Open Compute Project om te proberen te voldoen aan de normen voor een CO2-neutraal datacenter.) In 2016 kon DeepMind 40 procent minder energie verbruiken voor het koelen van Google-gegevens centra door een ensemble van diepe neurale netwerken te trainen op historische gegevens die zijn verzameld door duizenden stroom- en andere sensoren in de faciliteiten.
Op dezelfde manier werkte DeepMind in 2018 samen met het team van Android om de levensduur van de batterij van smartphones te verlengen. Misschien niet zo indrukwekkend als het sterk verminderen van het energieverbruik van het datacenter, maar als je bedenkt dat er alleen al in de VS naar schatting 130 miljoen Android-gebruikers zijn, tellen die dagelijkse muurkosten op.
Chemische productie is een andere sector die enorme hoeveelheden energie in de vorm van warmte nodig heeft om met succes verbindingen te maken. In de podcast speculeert Colin dat wetenschappers via AlphaFold mogelijk nieuwe enzymen of andere katalysatoren kunnen ontwikkelen om de energiebehoefte in die systemen te verminderen. Ik heb hier elders over geschreven, maar om het potentieel te illustreren, gebruikt het industriële proces voor het fixeren van stikstof (een essentiële meststof) 1-2% van de wereldwijde energie-output vanwege de zeer hoge temperaturen en drukken die nodig zijn. Maar in mijn tuin werken bodembacteriën met planten om dezelfde truc uit te halen bij omgevingstemperaturen en druk. We hebben nog een lange weg te gaan om hun niveau van energie-efficiëntie te bereiken, maar AI kan ons daar sneller brengen en ik ben buitengewoon geïnteresseerd in wat DeepMind hierna gaat doen.
We kunnen echter niet naar een betere wereld komen door alleen energie te besparen. Ook hebben we meer en betere energievoorziening nodig. Hier in Ierland laadt mijn laptop op via een ultrabetrouwbaar elektriciteitsnet en haalt veel van zijn stroom schoon uit de onstuimige zuidwestenwinden die dit eiland zo groen houden. Maar in een groot deel van de wereld is elektriciteit onbetrouwbaar en/of duur, waarbij bedrijven en huishoudens afhankelijk zijn van kleine diesel- of benzinegeneratoren, die luidruchtig, vies, duur en moeilijk te schalen zijn.
Op korte termijn gebruiken bedrijven als Google en Innowatts AI om variabele energiebronnen, zoals wind en zon, af te stemmen op de vraag van consumenten en bedrijven, waardoor de waarde en het gebruik van hernieuwbare energiebronnen wordt vergroot. Op de langere termijn zullen organisaties als DeepMind AI gebruiken om het ontwerp van alles te verbeteren, van de halfgeleiders in zonnepanelen tot de controlealgoritmen die op een dag het plasma in commerciële fusiereactoren kunnen stabiliseren.
De toekomst van AI in de samenleving
Net als Ed Hsu, de vorige podcastgast van de Wereldbank, gelooft Colin dat AI buitengewone voordelen heeft voor de mensheid, en op dezelfde manier ziet hij hoe AI negatieve gevolgen kan hebben, tenzij we zorgvuldig overwegen hoe deze systemen worden gebouwd en gebruikt. DeepMind heeft een technisch veiligheidsteam dat nauw samenwerkt met onderzoekers van OpenAI, het Alan Turing Institute en andere toonaangevende laboratoria om algoritmische technische veiligheid te begrijpen. DeepMind heeft ook een ethisch team dat samenwerkt met non-profitorganisaties, academici en andere bedrijven om de mogelijke impact van dergelijke AI-systemen op de samenleving te overwegen.
Colin benadrukt dat ontwikkelaars moeten nadenken over hoe hun datasets worden beheerd en hoe hun training is opgezet om de juiste doelstellingen voor hun modellen te creëren, iets wat Alice Xiang uitgebreid heeft besproken in een eerdere podcastaflevering over het onderwerp algoritmische rechtvaardigheid. Als je nog geen model hebt gehad dat door lekkage van een testset of een verkeerd uitgelijnde verliesfunctie is “bedrogen”, dan ben je gewoon niet lang genoeg in AI geweest! AI is software, en zoals een van mijn belangrijkste mentoren me leerde: “Alles wat je niet hebt getest, is kapot.”
Zoals alle podcast-afleveringen van Intel over AI, is deze het waard om volledig naar te luisteren . Je kunt het samen met de andere vinden op je favoriete streamingplatform door naar: intel.com/aipodcast
Edward Dixon
Data Scientist, Intel
