ClearML Community-roadmap

“IK BEN MOGELIJK NIET GEGAAN WAAR IK WILT GAAN, MAAR IK DENK DAT IK BEN UITGEKOMEN WAAR IK WIL ZIJN.” – DOUGLAS ADAMS

ClearML – De weg vooruit

Weinig dingen in het leven zijn zeker, en zeker niet de routekaarten. Er is een gezegde waar ik dol op ben, afgezien van het bovenstaande, dat zegt: “Als je God wilt horen lachen, vertel hem/haar dan je plannen”. Nergens is dat meer waar dan bij softwareontwikkeling in een startup. Er worden grootse ideeën naar voren gebracht, mensen wedijveren vaak met elkaar, kortom, het leven gebeurt.

ClearML heeft zeker last van dit probleem. We hebben grootse ideeën, maar zijn uiteindelijk een klein team van ontwikkelaars. We werken gekke uren, zoals ik zeker weet dat de meeste mensen tegenwoordig doen, allemaal in de naam van het krijgen van een “goed gedaan” van de mensen. Ja. Jij. De gemeenschap. Daarom brengen we ons kernplatform uit als open source. We willen dat mensen ons werk controleren, vooral omdat we graag denken dat we wetenschappelijke methoden volgen. Natuurlijk, in het geval dat we fouten maken, zijn we er eigenaar van.

Het is in die geest dat ik de algemene routekaart wil laten zien van waar we naartoe gaan. De meeste van deze items zijn van hoog niveau. Bewegwijzering langs de weg, om de weganalogie verder te misbruiken. Onze github[1] heeft details over specifieke items als je dieper wilt ingaan, en ik moedig je aan om dat te doen. Dit alles in gedachten, presenteer ik mijn poging tot ontwerp (het is niet mooi, je bent gewaarschuwd)

Waar zijn we vandaag

Voordat we aan de roadmap kunnen beginnen, moeten we goed inventariseren waar we staan. Onlangs hebben we community-release 0.17.5 gelanceerd. Dit was gericht op een paar vervelende bugs die een beetje bleven hangen (bijvoorbeeld het volgen van bepaalde tensorflow-belasting/saves) en het opschonen/opschonen van documentatie. De documentatie is nog in actieve ontwikkeling, aangezien we de mijlpaal 1.0-release naderen. Ik zou nooit zo arrogant zijn om te zeggen dat elk stukje software “bugvrij” is, maar ik zal zeggen dat we ons voor het grootste deel op een gezonde plek bevinden. Dat moet echt, want, zoals ik al eerder zei, release 1.0 in aantocht is.

Over release 1.0

Wat betekent een 1.0 release voor de community? Het betekent dat er in de toekomst geen grote API-wijzigingen zullen zijn, noch in de kerntoepassing noch in de sdk. Ik kan me de laatste keer dat er een was niet herinneren, maar met een 1.0-release komen er bepaalde verwachtingen. Een daarvan is dat add-ons (of pakketten als je dat liever hebt) kunnen worden toegevoegd en gebouwd rond de API. Addon's zullen functionaliteit bieden die niet de kern is, maar voor degenen die het nodig hebben, zal het enorm worden gewaardeerd. We hebben er zelf een paar in de coulissen, maar ik wil niet alle verrassingen op een routekaart bederven. Waar zou het plezier in zitten.

Release 1.0 zou een aantal zeer mooie verbeteringen van de kwaliteit van leven moeten hebben rond taken en projecten. Met name het verwijderen/snoeien van oude items, het vrijmaken van de broodnodige ruimte waar mogelijk, evenals andere batchbewerkingen. Er komt ook ondersteuning voor meerdere modellen in één taak. Dit is iets waar een paar gebruikers om hebben gevraagd, dus we willen ervoor zorgen dat we zoveel mogelijk mensen tevreden houden.

Toekomstige releases 1.1/1.2

Release 1.1 brengt de adoptie/invouwing van ons serveeraanbod met zich mee. Dit betekent dat vanaf de eerste start van het programma/de pijplijn tot het draaien van uw model op AWS/uw eigen machine, de implementatie ervoor moet zorgen dat het wordt bediend. Ik geloof dat we uiteindelijk voor KFServering zijn uitgekomen. Het is een beetje maar troebel, maar dit komt vooral doordat we niet diep in de code zitten met de ontwikkelaars. Experimenten zouden ook wat broodnodige liefde moeten opleveren, met opmerkelijke wijzigingen in de gebruikersinterface (bijvoorbeeld de mogelijkheid om metagegevens voor het bijhouden van projecten toe te voegen)

Release 1.2 bouwt voort op de voortgang van het dienen in 1.1 met de release van wat meer backends. Er komt ook initiële ondersteuning voor callbacks vanuit de pijplijn, om gemakkelijkere integratie met systemen van derden of rapportagetools mogelijk te maken (ik kijk naar jou Jenkins). Er gaan geruchten over zulke mysterieuze items als de clearml-data-verkenningstool of UI-plug-ins, maar eerlijk gezegd hangt er nog veel in de lucht. Ik vermoed dat er een groot item zal zijn dat onaangekondigd zal verschijnen, zowel voor mij als voor jou. Dat is de helft van het plezier van een startup in een beginnend veld. Wie weet wat morgen kan brengen

Het juiste spoor?

Uiteindelijk zijn dit onze ideeën. We geloven dat dit is waar we als gemeenschap willen dat we heen gaan. Uit de stemmen in ons slappe kanaal en feedback van gebruikers op conferenties, hebben ze allemaal gewezen op bepaalde gebieden die ze graag zouden willen verbeteren. Je kunt het er zeker niet mee eens zijn, en als je dat doet, is dat goed. Wat het afgelopen jaar me echter heeft geleerd, is dat het beter dan goed is om je stem te laten horen. Deel uw ideeën/zorgen en bouw samen met ons een platform voor iedereen. De enige kosten hiervan zijn een paar seconden van uw tijd.