NVIDIA – GPU-Ressourcen für KI-Anwendungen planen und betreiben

Sie planen GPU-Ressourcen für eine begrenzte KI-Anwendung und prüfen den tatsächlichen Ressourcenbedarf im Labor. Der Kurs verbindet Hardwarevoraussetzungen, Treiber und Containerbetrieb mit messbarem Anwendungsverhalten. Sie unterscheiden fehlende Kapazität von ungeeigneter Konfiguration und dokumentieren belastbare Betriebsgrenzen.

Dauer: 3 Tage.

• GPU-Kapazität aus einem konkreten Anwendungsfall ableiten.
• Containerzugriff und Ressourcenverbrauch nachvollziehen.
• Infrastrukturänderungen mit wiederholbaren Messungen prüfen.

• Anwendungsbedarf nach Modellspeicher, Parallelität, Antwortzeit und Datenbewegung erfassen; Annahmen und Messverfahren festhalten.
• GPU-, Treiber- und Laufzeitkompatibilität vor der Installation prüfen; unterstützte Kombinationen für das Labor auswählen.
• Containerzugriff auf GPUs einrichten und Berechtigungen begrenzen; Gerätezuweisung und sichtbare Ressourcen kontrollieren.
• Speicherbelegung, Auslastung, Temperatur und Fehlerzustände beobachten; Anwendungsengpässe von Infrastrukturproblemen unterscheiden.
• Gemeinsame Nutzung und Isolation vergleichen; hardwareabhängige Möglichkeiten wie MIG nur für passende Geräte einordnen.
• Treiberwartung, Kapazitätsplanung und Störungsübergabe mit einem wiederholbaren Leistungstest verbinden.

• Einen GPU-Container starten und nachweisen, welche Geräte und Ressourcen die Anwendung tatsächlich verwenden kann.
• Eine definierte Testlast variieren und Speicherbedarf, Durchsatz sowie Antwortzeit in einem Messprotokoll gegenüberstellen.
• Eine vorbereitete Laufzeitinkompatibilität diagnostizieren und nach der Korrektur denselben Funktionstest erneut durchführen.

Linux- und Plattformadministratoren sowie technische Verantwortliche für GPU-gestützte KI-Infrastruktur.

Sicherer Linux-Betrieb, Grundlagen zu Containern und Erfahrung mit Ressourcenüberwachung; keine Modellentwicklung erforderlich.

Für den Praxisteil wird geeignete NVIDIA-GPU-Hardware oder ein abgestimmter Testzugang benötigt. Treiber, Containerimages, Nutzungslizenzen und mögliche Hardwaregrenzen werden vorab geklärt.

Sie erhalten eine Teilnahmebescheinigung von SCN.

Praxiseinstieg für Teilnehmende mit den genannten technischen Vorkenntnissen.

Besprechen Sie Ihre Lernziele vorab mit dem Trainer. Unsere Ansprechpartner unterstützen Sie bei individuellen Themen und Firmenschulungen.

Diese Angebote behandeln ergänzende Schwerpunkte. Wählen Sie nach Ihren Aufgaben und den jeweiligen Voraussetzungen; eine verbindliche Kursreihenfolge ist damit nicht vorgegeben.

• NVIDIA NIM – Modellbereitstellung und Inferenzbetrieb praktisch prüfen