Vijf dingen die u kunt doen met Jupyter en ClearML

Haal meer uit uw AI/MLIDE

De positieve effecten van kunstmatige intelligentie (AI) in ons dagelijks leven zijn niet langer betwistbaar met onze steeds grotere afhankelijkheid van zijn toepassingen. In de begindagen van internet beperkten de kosten van infrastructuur de mensen die er toegang toe hebben. In tegenstelling tot die tijd hebben open-sourceplatforms de toegang tot AI aanzienlijk vereenvoudigd, dus praktisch iedereen met een internet en een fatsoenlijke laptop kan deze tools gebruiken. Hoewel de meeste mensen die over AI horen, vooral gecharmeerd zijn van fancy machine learning (ML) algoritmen, wordt er meestal neergekeken op de infrastructuren die deze algoritmen de speeltuin bieden om hun spieren te buigen. Dit is te verwachten, net zoals mensen enthousiaster zijn over computerspelletjes dan het moederbord van een computer. Ik zou beweren dat software zoals PyCharm, Visual Studio Code, Jupyter Notebook en ClearML open-source het moederbord van AI zijn, terwijl algoritmen computerspellen zijn.

Er zijn verschillende blogposts en artikelen gewijd aan het uitleggen van dit laatste , dus sta me toe je vijf dingen te vertellen die je kunt doen met een combinatie van het voormalige Jupyter-notebook/lab en ClearML.

1. 1. Automatische logboekregistratie
      Jupyter is de archetype-experiment-IDE voor proof-of-concept. Hiermee kunt u modules importeren, uw code uitvoeren en uw grafieken/diagrammen inline weergeven. Deze vrijheid gaat echter gepaard met de kosten van rommelige notebooks en reproduceerbaarheidsproblemen. Dit is waar de automatische logboekfunctie van ClearML van pas komt. Door twee regels code toe te voegen aan de bovenste cel van uw notebook, wordt het debuggen gewoon een kwestie van kijken naar uw logbestand op de ClearML-server. Dit bespaart u tijd en maakt uw code reproduceerbaar. Bovendien worden al uw pakketten en hun huidige versies netjes opgeslagen op de ClearML-server. Last but not least wordt uw uitvoerbare code in een .py-bestand geplaatst, zodat anderen uw werk op hun eigen computer kunnen reproduceren.
   2. Versiebeheer
      De noodzaak van experimenteren maakt versiebeheer onvermijdelijk in ML. Dit artikel gaat over manieren waarop u het gebrek aan versiebeheer in Jupyter kunt omzeilen, wat ik u aanraad om te lezen. Als u echter geen onnodige stappen aan uw Jupyter-code wilt toevoegen, gebruikt u gewoon de twee regels code die ik eerder noemde en ClearML zorgt voor het versiebeheer voor u. Lees hier mijn artikel waarin ML-projectbeheer wordt vergeleken met GitHub versus ClearML.
   3. Hyperparameteroptimalisatie
      De kracht van machine learning komt voort uit het extraheren van nuttige informatie uit gestructureerde gegevens. Het is gewoon moeilijk om te weten of een ML-model goed zal presteren op bepaalde gegevens zonder te experimenteren met verschillende functies, hyperparameters en algoritmen. Je kunt deze allemaal in Jupyter uitvoeren, maar de kans dat je in een zelfvernietigende cirkel van experimenten terechtkomt, is groot vanwege de moeilijkheid om een ​​levensvatbaar model te produceren. Het automatiseren van dit proces van het selecteren van het beste ML-model kan dus snel worden gedaan met de functie ClearML Hyperparameter Optimization. Bekijk deze tutorial over het gebruik van ClearML Hyperparameter Optimization.
   4. Live-tracking
      Zoals ik hierboven al zei, kan het kiezen van het beste model het eenvoudigste model betekenen dat het minst GPU/CPU-intensief is. Hoewel je dit op Jupyter zou kunnen hacken door een geheugenprofiler te gebruiken en code te schrijven die de statistieken van je ML/DL-model verzamelt, kan ClearML dat voor je regelen met een ClearML-agent. Zodra de worker-daemons zijn ontketend, is het uw enige taak om te genieten van de vruchten van uw werk door het dashboard te bekijken dat live de prestaties van uw model en netwerk- en computerbronnen bijhoudt. Dit maakt het kiezen van het best presterende model veel eenvoudiger en duidelijk.
   5. Teamsamenwerking
      Ik zou zeggen dat dit de belangrijkste reden is waarom ClearML Free, ontworpen door het Allegro AI-team, de belichaming is van een interdisciplinair veld. Dit is heel duidelijk bij data-engineers die datapijplijnen bouwen, datawetenschappers die experimenten uitvoeren en machine learning-engineers die modellen implementeren. In werkelijkheid is dit proces niet zo eenvoudig en vereist het samenwerking door het delen van code, gegevens en lopende modelleringsexperimenten. De huidige aangenomen workflow voor teamsamenwerking is Jupyter of een andere IDE plus GitHub. ClearML voor teamsamenwerking is echter een superieur alternatief hiervoor vanwege de kant-en-klare oplossing zoals omgevingsreplicatie, platformonafhankelijke compatibiliteit, het delen van gegevens, versiebeheer en afstandsbediening via een gedeelde server. Het gemak van ClearML-integratie met platforms die al de harten van de AI-gemeenschap hebben veroverd, maakt het ook een gemakkelijkere keuze.

Ik hoop dat de bovenstaande vijf tips hebben gaf u de stimulans om de eenvoudige maar krachtige combinatie van Jupyter en ClearML te gebruiken. Ik hoop ook dat ik je spannende experimenten met deze tools tegenkom. Ik kan zeggen dat het me wat tijd kostte om een ​​uitgebalanceerde ontwikkelingsstack te vinden, maar sinds ik het onder de knie heb, heb ik niet achterom gekeken! neem gerust contact met me op via LinkedIn of Twitter om meer te praten over deze tools of samenwerking.

Henok Yemam
Data Scientist, FINRA