- Seminar / Training
- NVIDIA
- NVIDIA – CUDA-Kernel entwickeln und Leistungsengpässe messen
- NVIDIA – GPU-Netzwerke und kollektive Kommunikation systematisch prüfen
- NVIDIA – GPU-Plattformen auf Kubernetes betreiben und absichern
- NVIDIA – GPU-Ressourcen für KI-Anwendungen planen und betreiben
- NVIDIA – KI-Agenten mit OpenShell in begrenzten Laufzeitumgebungen betreiben
- NVIDIA – LLM-Inferenz mit TensorRT LLM auf Last und Speicher abstimmen
- NVIDIA – Modelle mit NeMo anhand eigener Daten gezielt anpassen
- NVIDIA – Modelle mit TensorRT und Triton als Dienst bereitstellen
- NVIDIA NIM – Modellbereitstellung und Inferenzbetrieb praktisch prüfen
- NVIDIA – OpenUSD-Szenen für Simulationen mit Omniverse aufbauen
- NVIDIA – Python-Datenanalysen mit GPU-Bibliotheken beschleunigen
- NVIDIA – Robotikabläufe mit Isaac Sim und ROS 2 überprüfen
- NVIDIA – Schutzregeln für KI-Anwendungen mit NeMo Guardrails testen
- NVIDIA – Sprachdienste mit Riva integrieren und anhand eigener Audiodaten prüfen
- NVIDIA – Verteilte Inferenz mit Dynamo planen und messen
- NVIDIA – Videoverarbeitung auf Jetson mit DeepStream betreiben
- Seminar / Training
- NVIDIA
- NVIDIA – CUDA-Kernel entwickeln und Leistungsengpässe messen
- NVIDIA – GPU-Netzwerke und kollektive Kommunikation systematisch prüfen
- NVIDIA – GPU-Plattformen auf Kubernetes betreiben und absichern
- NVIDIA – GPU-Ressourcen für KI-Anwendungen planen und betreiben
- NVIDIA – KI-Agenten mit OpenShell in begrenzten Laufzeitumgebungen betreiben
- NVIDIA – LLM-Inferenz mit TensorRT LLM auf Last und Speicher abstimmen
- NVIDIA – Modelle mit NeMo anhand eigener Daten gezielt anpassen
- NVIDIA – Modelle mit TensorRT und Triton als Dienst bereitstellen
- NVIDIA NIM – Modellbereitstellung und Inferenzbetrieb praktisch prüfen
- NVIDIA – OpenUSD-Szenen für Simulationen mit Omniverse aufbauen
- NVIDIA – Python-Datenanalysen mit GPU-Bibliotheken beschleunigen
- NVIDIA – Robotikabläufe mit Isaac Sim und ROS 2 überprüfen
- NVIDIA – Schutzregeln für KI-Anwendungen mit NeMo Guardrails testen
- NVIDIA – Sprachdienste mit Riva integrieren und anhand eigener Audiodaten prüfen
- NVIDIA – Verteilte Inferenz mit Dynamo planen und messen
- NVIDIA – Videoverarbeitung auf Jetson mit DeepStream betreiben
NVIDIA – LLM-Inferenz mit TensorRT LLM auf Last und Speicher abstimmen
Kursüberblick
Untersuchen Sie die Leistung eines Sprachmodells unter realistischen Anfragegrößen. Sie vergleichen Präzision, KV-Cache und Parallelisierung und entwickeln eine Betriebsgrenze, die Antwortzeit und Speicherverbrauch gemeinsam berücksichtigt.
Dauer: 2 Tage.
Ihre Lernziele
- LLM-Lasten anhand von Kontext und Nebenläufigkeit beschreiben.
- Speicherverbrauch und Antwortqualität gemeinsam bewerten.
- Eine belastbare Inferenzkonfiguration aus Messdaten ableiten.
Inhalte im Detail
- Modellunterstützung, Hardware und Ausführungsweg für TensorRT LLM prüfen.
- Kontextlänge, Ausgabelänge und Parallelität in ein Lastprofil übersetzen.
- Quantisierung und geeignete Präzision anhand eigener Qualitätsfragen bewerten.
- KV-Cache und Scheduling hinsichtlich Speichergrenzen untersuchen.
- Tensor- und Pipelineparallelität nach Modellgröße und Labortopologie einordnen.
- Streaming, Time to First Token und Durchsatz mit vergleichbaren Messbedingungen erfassen.
Praktische Übungen
- Messen Sie kurze und lange Anfragen an ein vereinbartes Sprachmodell und zerlegen Sie Wartezeit, Vorverarbeitung und Tokenausgabe.
- Vergleichen Sie zwei geeignete Präzisionseinstellungen anhand derselben Qualitätsfragen und dokumentieren Sie erkennbare Abweichungen.
- Erhöhen Sie kontrolliert die Nebenläufigkeit und bestimmen Sie eine Betriebsgrenze ohne unkontrollierten Speicherausfall.
Zielgruppe
LLM-Engineers und erfahrene Inferenzbetreiber.
Voraussetzungen
GPU-Inferenz, Container und Grundlagen von Transformer-Modellen.
Software und Übungsumgebung
Getrennte GPU-Laborumgebung mit Testdaten. Hardwaregeneration, Treiber, Softwarestand, Modellrechte und gegebenenfalls benötigte NVIDIA-Lizenzen werden vorab auf die Übungen abgestimmt; Zugang erfolgt lokal oder per Fernzugriff.
Teilnahmebestätigung
Sie erhalten eine Teilnahmebestätigung von SCN.
Einordnung des Seminars
Der Einstieg richtet sich nach den genannten Voraussetzungen. Die Lernziele werden an eigenen Aufgaben in einer getrennten Testumgebung bearbeitet.
Ansprechpartner
Ihre Berater für das Training NVIDIA – LLM-Inferenz mit TensorRT LLM auf Last und Speicher abstimmen
-

Steve Etzkorn
E-Mail: steve.etzkorn@scngmbh.com
Telefon: + 43 (800) 102 322 23 -

Christian Klein
E-Mail: christian.klein@scngmbh.com
Telefon: + 43 (800) 102 322 23 -

Victor Poor
E-Mail: victor.poor@scngmbh.com
Telefon: + 43 (800) 102 322 23
Vorbereitung Ihres Trainings
Besprechen Sie Ihre Lernziele vorab mit dem Trainer. Unsere Ansprechpartner unterstützen Sie bei individuellen Themen und Firmenschulungen.
Verwandte Seminare
Wählen Sie weitere Schwerpunkte anhand Ihrer Aufgaben und der jeweiligen Voraussetzungen.
- NVIDIA – GPU-Ressourcen für KI-Anwendungen planen und betreiben
- NVIDIA NIM – Modellbereitstellung und Inferenzbetrieb praktisch prüfen
- NVIDIA – CUDA-Kernel entwickeln und Leistungsengpässe messen
- NVIDIA – Python-Datenanalysen mit GPU-Bibliotheken beschleunigen
- NVIDIA – Modelle mit TensorRT und Triton als Dienst bereitstellen
- NVIDIA – GPU-Plattformen auf Kubernetes betreiben und absichern
- NVIDIA – Modelle mit NeMo anhand eigener Daten gezielt anpassen
- NVIDIA – Schutzregeln für KI-Anwendungen mit NeMo Guardrails testen
- NVIDIA – OpenUSD-Szenen für Simulationen mit Omniverse aufbauen
- NVIDIA – Robotikabläufe mit Isaac Sim und ROS 2 überprüfen
- NVIDIA – Videoverarbeitung auf Jetson mit DeepStream betreiben
- NVIDIA – Sprachdienste mit Riva integrieren und anhand eigener Audiodaten prüfen
- NVIDIA – GPU-Netzwerke und kollektive Kommunikation systematisch prüfen
- NVIDIA – Verteilte Inferenz mit Dynamo planen und messen
- NVIDIA – KI-Agenten mit OpenShell in begrenzten Laufzeitumgebungen betreiben
Buchung
Service
Wir bieten Ihnen Seminare mit einem hohen Praxisbezug an. Die Inhalte und Übungen sind auf Ihre täglichen Aufgaben im Unternehmen ausgerichtet und verzichten vollständig auf Werbehinweise anderer Produkte des Softwareherstellers.
Alle Trainings bei uns sind herstellerunabhängig. Dies ermöglicht es uns kritische Betrachtungen zu den Produkten selbst und Vergleiche zu Wettbewerbern des Herstellers im Seminar anzubieten. Die Kursinhalte sind eigene Inhalte und aus den praktischen Erfahrungen unserer Trainer in Projekten abgeleitet.
Selbstverständlich können die Inhalte bei Firmenseminaren individuell an Ihre Bedürfnisse angepasst werden. Bitte sprechen Sie uns einfach an.
Buchung
Das Seminar wurde auf die Merkliste gesetzt
Das von Ihnen gewählte Seminar wurde bereits auf die Merkliste gesetzt
Bitte wählen Sie einen freien Termin aus
Bitte geben Sie Ihren Wunschtermin im Format tt.mm.jjjj ein
Bitte wählen Sie einen freien Termin aus
Bitte geben Sie den gewünschten Termin im Format tt.mm.jjjj der Schulung ein