- Seminar / Training
- NVIDIA
- NVIDIA – CUDA-Kernel entwickeln und Leistungsengpässe messen
- NVIDIA – GPU-Netzwerke und kollektive Kommunikation systematisch prüfen
- NVIDIA – GPU-Plattformen auf Kubernetes betreiben und absichern
- NVIDIA – GPU-Ressourcen für KI-Anwendungen planen und betreiben
- NVIDIA – KI-Agenten mit OpenShell in begrenzten Laufzeitumgebungen betreiben
- NVIDIA – LLM-Inferenz mit TensorRT LLM auf Last und Speicher abstimmen
- NVIDIA – Modelle mit NeMo anhand eigener Daten gezielt anpassen
- NVIDIA – Modelle mit TensorRT und Triton als Dienst bereitstellen
- NVIDIA NIM – Modellbereitstellung und Inferenzbetrieb praktisch prüfen
- NVIDIA – OpenUSD-Szenen für Simulationen mit Omniverse aufbauen
- NVIDIA – Python-Datenanalysen mit GPU-Bibliotheken beschleunigen
- NVIDIA – Robotikabläufe mit Isaac Sim und ROS 2 überprüfen
- NVIDIA – Schutzregeln für KI-Anwendungen mit NeMo Guardrails testen
- NVIDIA – Sprachdienste mit Riva integrieren und anhand eigener Audiodaten prüfen
- NVIDIA – Verteilte Inferenz mit Dynamo planen und messen
- NVIDIA – Videoverarbeitung auf Jetson mit DeepStream betreiben
- Seminar / Training
- NVIDIA
- NVIDIA – CUDA-Kernel entwickeln und Leistungsengpässe messen
- NVIDIA – GPU-Netzwerke und kollektive Kommunikation systematisch prüfen
- NVIDIA – GPU-Plattformen auf Kubernetes betreiben und absichern
- NVIDIA – GPU-Ressourcen für KI-Anwendungen planen und betreiben
- NVIDIA – KI-Agenten mit OpenShell in begrenzten Laufzeitumgebungen betreiben
- NVIDIA – LLM-Inferenz mit TensorRT LLM auf Last und Speicher abstimmen
- NVIDIA – Modelle mit NeMo anhand eigener Daten gezielt anpassen
- NVIDIA – Modelle mit TensorRT und Triton als Dienst bereitstellen
- NVIDIA NIM – Modellbereitstellung und Inferenzbetrieb praktisch prüfen
- NVIDIA – OpenUSD-Szenen für Simulationen mit Omniverse aufbauen
- NVIDIA – Python-Datenanalysen mit GPU-Bibliotheken beschleunigen
- NVIDIA – Robotikabläufe mit Isaac Sim und ROS 2 überprüfen
- NVIDIA – Schutzregeln für KI-Anwendungen mit NeMo Guardrails testen
- NVIDIA – Sprachdienste mit Riva integrieren und anhand eigener Audiodaten prüfen
- NVIDIA – Verteilte Inferenz mit Dynamo planen und messen
- NVIDIA – Videoverarbeitung auf Jetson mit DeepStream betreiben
NVIDIA – Modelle mit TensorRT und Triton als Dienst bereitstellen
Kursüberblick
Entwickeln Sie aus einem vorhandenen Modell einen überprüfbaren Inferenzdienst. Sie untersuchen Konvertierung, Genauigkeit und Batchverhalten und betreiben das Ergebnis mit versionierten Artefakten und aussagekräftigen Dienstprüfungen.
Dauer: 3 Tage.
Ihre Lernziele
- Optimierte Modellartefakte mit Genauigkeitskontrolle erzeugen.
- Einen versionierten Triton-Dienst bereitstellen.
- Inferenzkonfigurationen mit reproduzierbaren Lasttests bewerten.
Inhalte im Detail
- Modellformat, Operatorunterstützung und Testdaten für die Konvertierung erfassen.
- TensorRT-Optimierung und Präzisionswahl gegen eine Ausgangsversion prüfen.
- Triton-Modellrepository, Konfiguration und Versionsverhalten vorbereiten.
- HTTP- oder gRPC-Aufrufe mit Fehlerfällen und Eingabevalidierung testen.
- Batching, Modellinstanzen und Ressourcennutzung anhand definierter Last vergleichen.
- Metriken, Readiness und Rückkehr zu einem vorherigen Modellstand einrichten.
Praktische Übungen
- Konvertieren Sie ein kleines vereinbartes Modell und vergleichen Sie dessen Ausgaben gegen einen fachlich bewerteten Referenzdatensatz.
- Stellen Sie zwei Modellstände über Triton bereit und prüfen Sie Versionsauswahl, falsche Eingabeformen und fehlende Modelle.
- Messen Sie unterschiedliche Batchkonfigurationen und begründen Sie eine Wahl anhand von Antwortzeit, Durchsatz und Speicherverbrauch.
Zielgruppe
ML-Engineers und KI-Plattformentwickler.
Voraussetzungen
Python, Modellinferenz, ONNX und Containergrundlagen.
Software und Übungsumgebung
Getrennte GPU-Laborumgebung mit Testdaten. Hardwaregeneration, Treiber, Softwarestand, Modellrechte und gegebenenfalls benötigte NVIDIA-Lizenzen werden vorab auf die Übungen abgestimmt; Zugang erfolgt lokal oder per Fernzugriff.
Teilnahmebestätigung
Sie erhalten eine Teilnahmebestätigung von SCN.
Einordnung des Seminars
Der Einstieg richtet sich nach den genannten Voraussetzungen. Die Lernziele werden an eigenen Aufgaben in einer getrennten Testumgebung bearbeitet.
Ansprechpartner
Ihre Berater für das Training NVIDIA – Modelle mit TensorRT und Triton als Dienst bereitstellen
-

Steve Etzkorn
E-Mail: steve.etzkorn@scngmbh.com
Telefon: + 43 (800) 102 322 23 -

Christian Klein
E-Mail: christian.klein@scngmbh.com
Telefon: + 43 (800) 102 322 23 -

Victor Poor
E-Mail: victor.poor@scngmbh.com
Telefon: + 43 (800) 102 322 23
Vorbereitung Ihres Trainings
Besprechen Sie Ihre Lernziele vorab mit dem Trainer. Unsere Ansprechpartner unterstützen Sie bei individuellen Themen und Firmenschulungen.
Verwandte Seminare
Wählen Sie weitere Schwerpunkte anhand Ihrer Aufgaben und der jeweiligen Voraussetzungen.
- NVIDIA – GPU-Ressourcen für KI-Anwendungen planen und betreiben
- NVIDIA NIM – Modellbereitstellung und Inferenzbetrieb praktisch prüfen
- NVIDIA – CUDA-Kernel entwickeln und Leistungsengpässe messen
- NVIDIA – Python-Datenanalysen mit GPU-Bibliotheken beschleunigen
- NVIDIA – LLM-Inferenz mit TensorRT LLM auf Last und Speicher abstimmen
- NVIDIA – GPU-Plattformen auf Kubernetes betreiben und absichern
- NVIDIA – Modelle mit NeMo anhand eigener Daten gezielt anpassen
- NVIDIA – Schutzregeln für KI-Anwendungen mit NeMo Guardrails testen
- NVIDIA – OpenUSD-Szenen für Simulationen mit Omniverse aufbauen
- NVIDIA – Robotikabläufe mit Isaac Sim und ROS 2 überprüfen
- NVIDIA – Videoverarbeitung auf Jetson mit DeepStream betreiben
- NVIDIA – Sprachdienste mit Riva integrieren und anhand eigener Audiodaten prüfen
- NVIDIA – GPU-Netzwerke und kollektive Kommunikation systematisch prüfen
- NVIDIA – Verteilte Inferenz mit Dynamo planen und messen
- NVIDIA – KI-Agenten mit OpenShell in begrenzten Laufzeitumgebungen betreiben
Buchung
Service
Wir bieten Ihnen Seminare mit einem hohen Praxisbezug an. Die Inhalte und Übungen sind auf Ihre täglichen Aufgaben im Unternehmen ausgerichtet und verzichten vollständig auf Werbehinweise anderer Produkte des Softwareherstellers.
Alle Trainings bei uns sind herstellerunabhängig. Dies ermöglicht es uns kritische Betrachtungen zu den Produkten selbst und Vergleiche zu Wettbewerbern des Herstellers im Seminar anzubieten. Die Kursinhalte sind eigene Inhalte und aus den praktischen Erfahrungen unserer Trainer in Projekten abgeleitet.
Selbstverständlich können die Inhalte bei Firmenseminaren individuell an Ihre Bedürfnisse angepasst werden. Bitte sprechen Sie uns einfach an.
Buchung
Das Seminar wurde auf die Merkliste gesetzt
Das von Ihnen gewählte Seminar wurde bereits auf die Merkliste gesetzt
Bitte wählen Sie einen freien Termin aus
Bitte geben Sie Ihren Wunschtermin im Format tt.mm.jjjj ein
Bitte wählen Sie einen freien Termin aus
Bitte geben Sie den gewünschten Termin im Format tt.mm.jjjj der Schulung ein