13 gratis bronnen en modeldierentuinen voor deep learning- en computervisiemodellen

Computervisie is een snelgroeiend subveld van AI en deep learning. Van kassaloze winkels in de detailhandel tot gewasdetectie in de landbouw, er is een toenemende belangstelling voor cv-toepassingen. Dit heeft een levendige community gecreëerd die graag architecturen, codes, vooraf getrainde modellen en zelfs tips deelt voor elke fase van de ontwikkelingscyclus.

Een cv-project helemaal opnieuw beginnen kost tijd. Dus het gebruikelijke proces is, gegeven een probleem of een use case, je zoekt naar modellen die het gedeeltelijk oplossen. Als er al een bestaat, is het trainen van een nieuw model niet meer nodig. Anders gebruik je de openbaar beschikbare modellen om je te laten zien welke architectuur je moet kiezen als basis voor het verfijnen of overdragen van leren.

In dit bericht vermelden we 13 gratis bronnen en modeldierentuinen voor diep leren en computer vision-modellen die hopelijk kunnen helpen om uw werk te vereenvoudigen.

1. Papieren met code

Papers With Code is een door de gemeenschap geleide open bron die machine learning-documenten, codes, datasets, methoden en evaluatietabellen samenbrengt. Hoewel het kernteam van het project is gebaseerd op Meta AI Research, kan iedereen in de academische wereld en de industrie een bijdrage leveren.

Bron: Papers met code

U kunt de database filteren en bladeren door de nieuwste modellen, datasets, taken, methoden en trending-onderzoek. Bovendien kunt u populaire benchmarks, inzendingen en ontwikkelingen zien die voor elke taak en dataset zijn gemaakt.

Bron: Papers met code

Naast computervisie wordt de bron regelmatig bijgewerkt met de nieuwste artikelen en implementaties in andere subgebieden van AI, zoals natuurlijke taalverwerking (NLP), versterkend leren, audio en meer. Er zijn ook portalen voor andere disciplines, waaronder natuurkunde, astronomie en statistiek.

2. Open Model Zoo

OpenVINO™ Toolkit's Open Model Zoo is een opslagplaats van vooraf getrainde deep learning-modellen en demo's die ontwikkelaars kunnen gebruiken om het ontwikkelings- en productie-implementatieproces te versnellen.

De modellen in de bron kunnen worden onderverdeeld in twee categorieën: vooraf getrainde Intel-modellen en openbare vooraf getrainde modellen. In totaal zijn er meer dan 200 modellen in de repository die verschillende taken dekken, zoals objectdetectie, plaatsherkenning, tekst naar spraak, inkleuren en meer. Gebruikers kunnen ook tientallen demo-applicatiesjablonen gebruiken.

Bron: OpenVINO Toolkit GitHub

Om het snel en gemakkelijk te maken, kan de gemeenschap automatiseringstools gebruiken om de modellen te downloaden en om te zetten in het OpenVINO™ IR-formaat. Er zijn tools voor het kwantificeren van modellen, het afdrukken van informatie en het kopiëren van datasets vanaf een geïnstalleerde locatie. Open Model Zoo biedt ook een nauwkeurigheidscontrole om de nauwkeurigheid van het model te valideren.

3. Deci's modeldierentuin

Deci is een end-to-end deep learning-ontwikkelingsplatform waarmee datawetenschappers en deep learning-engineers modellen kunnen bouwen, optimaliseren en implementeren in elke omgeving en hardware.

Het bevat een modeldierentuin met op PyTorch gebaseerde computer visiemodellen voor alle hoofdtaken. In tegenstelling tot andere modeldierentuinen, zijn de modellen in de dierentuin van Deci vooraf getraind en geoptimaliseerd (gecompileerd en gekwantiseerd) voor een breed scala aan hardwaretypes.

De modeldierentuin is ontworpen om te helpen bij het selecteren van het beste diepe neurale netwerk (DNN) voor uw taak en om ervoor te zorgen dat het goed werkt op uw inferentiehardware, zelfs voordat u het begint te trainen. Als u over deze informatie beschikt, kunt u niet alleen tijd en middelen besparen voor modeltraining, maar kunt u er ook voor zorgen dat er geen frictie ontstaat bij het implementeren van het model zodra het gereed is. Door de juiste architectuur te selecteren met de optimale prestaties die passen bij uw taak, dataset en inferentiehardware, zal er in de implementatiefase niet de verwachte versus daadwerkelijke prestatiekloof zijn.

Naast het weergeven van de nauwkeurigheid per model, kunt u eenvoudig een doel-inferentiehardware selecteren en de runtime-prestatieresultaten van het model bekijken, zoals doorvoer, latentie, modelgrootte en geheugenvoetafdruk voor een bepaalde hardware.

De prestatieresultaten van het model zijn uitgezet in een “Efficient Frontier”-grafiek waarmee u gemakkelijk de verwachte “nauwkeurigheid-latentie”-afweging op de geselecteerde hardware kunt zien. Je kunt ook op elk model klikken en het met andere vergelijken.

Je kunt de modellen gratis downloaden of implementeren met Infery, een Python-runtime-engine, wanneer je je aanmeldt bij Deci's deep learning-platform.

4. Jetson Model Zoo en communityprojecten

De Jetson Zoo is een open-sourcecatalogus met richtlijnen voor het installeren van add-onpakketten en frameworks op NVIDIA Jetson. Het bevat ook DDN-modellen voor inferentie op Jetson met ondersteuning voor TensorRT.

Bron: eLinux.org

Het model Zoo omvat classificatie, objectdetectie, segmentatie en pose-schattingsmodellen, codevoorbeelden en links naar de originele bronnen. U kunt ook bronnen voor prestatiebenchmarks bekijken.

Bron: NVIDIA

Daarnaast NVIDIA bevat communityprojecten die zijn gemaakt voor Jetson-ontwikkelaarskits. Deze projecten bevatten codes, video's en instructies die u kunt gebruiken ter inspiratie of die u naar eigen behoefte kunt aanpassen.

5. Modeldierentuin

Model Zoo beheert vooraf getrainde deep learning-modellen voor een verscheidenheid aan frameworks en domeinen. De modellen zijn gebouwd door Jing Yu Koh, die nu onderzoeker op het gebied van machine learning is bij Google, en zijn goed getagd, waardoor onderzoekers en praktijkmensen gemakkelijk kunnen filteren en modellen kunnen vinden die passen bij wat ze zoeken.

Bron: ModelZoo

Sommige van de frameworks omvatten TensorFlow, PyTorch, Keras, Caffe en meer. U kunt bladeren door computervisie, NLP, versterkend leren, leren zonder toezicht, audio en spraak en generatieve modellen. Bovendien heeft elk model of elke bibliotheek diepgaande implementatiedetails.

6. TensorFlow-hub

TensorFlow is een populaire bibliotheek voor training en inferentie van diepe neurale netwerken. Met de TensorFlow Hub kunnen deep learning-beoefenaars eenvoudig middelen downloaden en hergebruiken voor machine learning.

Bron: TensorFlow

De vooraf getrainde SavedModels zijn klaar om nieuwe taken op te lossen met minder trainingstijd en data. Het downloaden ervan vereist gedetailleerde documentatie en minimale codering.

 

7. TensorFlow Model Garden

De Model Garden wordt onderhouden door het TensorFlow-team en bevat een verscheidenheid aan verschillende implementaties van SOTA-modellen, voorbeeldimplementaties en best practices voor modellering.

De repository bevat vier hoofdtypen directories:

• Officieel is de verzameling SOTA-modelimplementaties met behulp van de nieuwste TensorFlow 2-API's.
• Onderzoekbevat modelimplementaties in TensorFlow 1 of 2 die zich in de onderzoeksfase bevinden.
• Community bevat een samengestelde lijst van door TensorFlow 2-aangedreven GitHub-opslagplaatsen.< /li>
• Orbit is een bibliotheek waarmee gebruikers aangepaste trainingsluscode kunnen schrijven in TensorFlow 2.

Bron: TensorFlow GitHub

In tegenstelling tot TensorFlow Hub biedt de Model Garden een solide basis van configuraties en datasets voor modeltraining of fine-tuning.

8. MediaPipe-modellen

MediaPipe is een open-source cross-platform dat aanpasbare machine learning-oplossingen biedt voor live en streaming media. Sommige oplossingen omvatten instant motion-tracking, gezichtsmesh, KNIFT en selfie-segmentatie. Terwijl ze nog in alpha zijn, gebruiken producten zoals Google Nest en Ariel AI (overgenomen door Snap) al MediaPipe-oplossingen.

Bron: MediaPipe

In de GitHub-repository kunnen ontwikkelaars zien hoe de modellen in Python, JavaScript, C++, Android en iOS kunnen worden geïmplementeerd. Elk model heeft ook een kaart met alle details over de specificaties, toepassingen, beperkingen en ethische overwegingen.

9. Geweldige TensorFlow Lite

TensorFlow Lite is speciaal gebouwd voor het uitvoeren van inferentie op apparaten met beperkte rekenkracht, zoals telefoons en embedded apparaten.

Bron: Magenta GitHub

Awesome TensorFlow Lite is een uitgebreide opslagplaats voor TensorFlow Lite. Het bevat modellen met voorbeelden variërend van computervisie tot aanbevelingssystemen. Het verzamelt ook bronnen voor zelfstudieprojecten, plug-ins en SDK's, en andere leermiddelen zoals boeken, podcasts en video's, die nuttig kunnen zijn voor beginners.

10. Geweldige CoreML-modellen

Core ML is een framework dat door Apple is uitgebracht om ontwikkelaars in staat te stellen machine learning in applicaties te integreren. Met Awesome CoreML Models krijg je de grootste lijst met modellen in Core ML (iOS 11+) die je kunt gebruiken om te experimenteren en te implementeren op iOS, macOS, tvOS en watchOS.

Bron: Awesome CoreML GitHub

Naast de verschillende modellen die beeld en tekst verwerken, biedt de repository gebruikers ook visualisatietools. Ondersteunde modelindelingen die kunnen worden geconverteerd naar Core ML, met voorbeelden als Caffe, Keras, XGBoost, Scikit-learn en meer.

11. Pinto Model Dierentuin

De Pinto Model Zoo, gemaakt door Katsuya Hyodo, is een opslagplaats die afstemmingsresultaten deelt van getrainde modellen die zijn gegenereerd door TensorFlow of Keras. Tot op heden bevat het meer dan 260 geoptimaliseerde modellen. Gebruikte kwantiseringstechnieken na de training omvatten gewichtskwantisering, kwantisering van gehele getallen, volledige kwantisering van gehele getallen, Float16-kwantisering) en kwantiseringsbewuste training.

Bron: Pinto Model Zoo GitHub

De modellen zijn ook beschikbaar voor TensorFlow Lite, OpenVINO, CoreML, TensorFlow.js, TF-TRT, MediaPipe en ONNX-formaat. Bovendien kunt u verschillende voorbeeldimplementaties zien van de getrainde modellen met specificaties, codes en videobestanden.

12. ONNX Model Zoo

Open Neural Network Exchange (ONNX) is een open-source formaat voor het weergeven van machine learning-modellen. Met de ONNX Model Zoo kun je vooraf getrainde SOTA-modellen verkennen en gebruiken in ONNX die de community heeft bijgedragen. Er zijn modellen voor verschillende visie-, taal- en andere interessante taken.

Bron: ONNX GitHub

Elk model heeft een bijbehorend Jupyter-notebook voor modeltraining en running inferentie. De notitieboeken zijn geschreven in Python en bevatten links naar de datasets en originele papieren. Er zijn ook instructies voor het gebruik van de Git LFS-opdrachtregel bij het downloaden van meerdere ONNX-modellen, evenals voor het configureren van de Python-startcode bij het valideren van uw ONNX-model met testgegevens.

13. CatalyzeX

CatalyzeX is een kleine browserextensie waarmee u implementatiecode voor onderzoekspapers over machine learning rechtstreeks op Google, ArXiv, GitHub, Twitter en andere websites kunt krijgen.

Bron: CatalyzeX

Terwijl u online bladert, biedt de extensie u een in-line link naast artikelen op het gebied van AI, NLP, computer vision, deep leren en versterkend leren. Op de CatalyzeX-website kunt u ook een verzameling modellen, code en documenten voor populaire deep learning-taken bekijken.

Conclusie

Behalve het leveren van de bouwstenen voor deep learning-projecten, biedt de levendige, open-sourcegemeenschap speelt een belangrijke rol in de voortdurende vooruitgang en toenemende toegankelijkheid van AI. Profiteer van deze gratis bronnen en deep learning-modeldierentuinen, zodat u uw ontwikkelings- en productie-implementatieproces kunt versnellen.

Als de hardwarebewuste modeldierentuin van Deci uw interesse heeft gewekt, kunt u zich aanmelden voor het platform voor gratis, ga direct naar het tabblad Model Zoo en begin vandaag nog met het vergelijken en downloaden van uw vooraf getrainde, geoptimaliseerde, hardwarebewuste modellen.