NVIDIA brengt updates uit voor CUDA-X AI-software

NVIDIA CUDA-X AI zijn diepgaande leerbibliotheken voor onderzoekers en softwareontwikkelaars om krachtige GPU-versnelde applicaties te bouwen voor conversatie AI, aanbevelingssystemen en computervisie.

Leer wat er nieuw is in de nieuwste releases van CUDA-X AI-bibliotheken.

Raadpleeg de release-opmerkingen van elk pakket in de documentatie voor aanvullende informatie.

NVIDIA Jarvis Open Beta

NVIDIA Jarvis is een applicatieframework voor multimodale conversatie-AI-services dat realtime prestaties levert op GPU's. Deze versie van Jarvis bevat:

• ASR-, NLU- en TTS-modellen getraind op duizenden uren aan spraakgegevens.
• Transfer Learning Toolkit zonder codeerbenadering om opnieuw te trainen op aangepaste gegevens.
• Volledig versnelde deep learning-pipelines geoptimaliseerd om te draaien als schaalbare services.
• End-to-end workflow en tools om services te implementeren met één regel code.

Transfer Learning Toolkit 3.0 Developer Preview

NVIDIA heeft nieuwe, vooraf getrainde modellen voor computervisie en conversatie-AI uitgebracht die eenvoudig kunnen worden verfijnd met Transfer Learning Toolkit (TLT) 3.0 met een zero-coding-aanpak.

Belangrijkste hoogtepunten:

< ul>

Triton Inference Server 2.7

Triton Inference Server is een open source multi-framework, platformonafhankelijke inference-serving-software die is ontworpen om de implementatie van modelproductie vereenvoudigen. Versie 2.7 bevat:

• Model Analyzer – vindt automatisch de beste modelconfiguratie om de prestaties te maximaliseren op basis van door de gebruiker gespecificeerde vereisten
• Model Repo Agent API  – maakt het mogelijk aangepaste bewerkingen uit te voeren op modellen die worden geladen (zoals decoderen, checksumming, toepassen van TF-TRT optimalisatie, enz.)
• Ondersteuning toegevoegd voor ONNX Runtime-backend in Triton Windows-build
• Een voorbeeld van een Java- en Scala-client toegevoegd op basis van door GRPC gegenereerde API

Lees hier de volledige release-opmerkingen.

TensorRT 7.2 is nu beschikbaar

NVIDIA TensorRT is een platform voor high-performance deep learning inferentie. Deze versie van TensorRT bevat:

• Nieuwe Polygraphy-toolkit, helpt bij het maken van prototypes en het debuggen van deep learning-modellen in verschillende frameworks
• Ondersteuning voor Python 3.8

Merlin Open Beta

Merlin is een applicatieframework en ecosysteem dat end-to-end ontwikkeling van aanbevelingssystemen mogelijk maakt, versneld op NVIDIA GPU's. Hoogtepunten van de Merlin Open Beta zijn:

• NVTabular en HugeCTR inferentieondersteuning in Triton Inference Server
• Cloudconfiguraties en cloudondersteuning (AWS/GCP)
• Datasetanalyse en generatietools
• Nieuwe PythonAPI voor HugeCTR vergelijkbaar naar Keras zonder JSON-configuratie meer

DeepStream SDK 5.1

NVIDIA DeepStream SDK is een streaminganalysetoolkit voor AI-gebaseerde multisensorverwerking.

Belangrijkste hoogtepunten voor DeepStream SDK 5.1 (algemene beschikbaarheid)

• Nieuwe Python-apps voor het gebruik van optische stroom, segmentatienetwerken en analyses met ROI en lijnoverschrijding
• Ondersteuning voor audio-analyse met een voorbeeldtoepassing die het gebruik van audioclassificatie benadrukt
• Ondersteuning voor NVIDIA Ampere GPU's met derde generatie tensor-cores en verschillende prestatie-optimalisaties

nvJPEG2000 0.2

nvJPEG2000 is een nieuwe bibliotheek voor GPU-versnelde JPEG2000-beelddecodering. Deze versie van nvJPEG2000 bevat:

• Ondersteuning voor multi-tile en multi-layer decodering.
• Gedeeltelijke decodering door een interessegebied te specificeren voor verhoogde efficiëntie
• Nieuwe API voor veelgebruikte GDAL-interface voor geospatiale afbeeldingen
• 4x snellere lossless decodering voor 5-3 wavelet-decodering en 7x snellere loss-decodering voor 9-7 wavelet-transformatie. Bereik nog meer snelheid door decodering van meerdere afbeeldingen te pipelinen.

NVIDIA NeMo 1.0.0b4

NVIDIA NeMo is een toolkit om eenvoudig state-of-the-art spraak- en taalmodellen te bouwen, te trainen en te verfijnen. Hoogtepunten van deze versie zijn:

• Compatibel met de openbare bètaversie van Jarvis 1.0.0b2 en TLT 3.0-releases

Deep Learning-voorbeelden

Deep Leervoorbeelden bieden state-of-the-art referentievoorbeelden die gemakkelijk te trainen en in te zetten zijn, met de best reproduceerbare nauwkeurigheid en prestaties met NVIDIA CUDA-X AI-softwarestack die draait op NVIDIA Volta, Turing en Ampere GPU's.

Nieuwe modelscripts beschikbaar in de NGC-catalogus:

• nnUNet/PyT: Een zelfaanpassend raamwerk voor U-Net voor ultramoderne segmentatie over verschillende entiteiten, beeldmodaliteiten, beeldgeometrieën en datasetgroottes, zonder handmatige aanpassingen tussen datasets.
• Breed en Deep/TF2: Breed & Deep verwijst naar een klasse van netwerken die de uitvoer van twee parallel werkende delen gebruiken – een breed model en een diep model – om een ​​binaire voorspelling van de CTR te maken.
• EfficientNet PyT & TF2: Een model dat de diepte, breedte en resolutie schaalt om betere prestaties te bereiken voor verschillende datasets. EfficientNet B4 behaalt state-of-the-art 82,78% top-1 nauwkeurigheid op ImageNet, terwijl het 8,4x kleiner en 6,1x sneller is op inferentie dan het beste bestaande ConvNet.
• Electra: Een nieuwe pre-trainingsmethode voor taalrepresentaties die beter presteert dan bestaande technieken, met hetzelfde rekenbudget voor een breed scala aan Natural Language Processing (NLP)-taken.

Brad Nemire
Teamleider communicatieontwikkelaar, NVIDIA