NVIDIA NIM – Modellbereitstellung und Inferenzbetrieb praktisch prüfen

Sie stellen einen ausgewählten Inferenzdienst mit NVIDIA NIM bereit und prüfen ihn aus Sicht des Anwendungsbetriebs. Ein kleines Last- und Fehlerprofil zeigt, wie Modellwahl, GPU-Ressourcen und Zugriffsschutz zusammenspielen. Ziel ist eine dokumentierte Bereitstellung mit messbaren Grenzen und einem nachvollziehbaren Versionswechsel.

Dauer: 3 Tage.

• Eine NIM-Bereitstellung mit klaren Betriebsgrenzen aufbauen.
• Lastverhalten und Antwortqualität getrennt messen.
• Versionswechsel anhand wiederholbarer Vergleichstests beurteilen.

• Einen unterstützten Modell- und Hardwareeinsatz auswählen; Rechte, Modellbedingungen und Ressourcenbedarf vor der Bereitstellung prüfen.
• NIM-Container, Modellartefakte und benötigte Zugänge bereitstellen; Cache- und Speicherbedarf nachvollziehen.
• Eine Testanwendung an den Inferenzendpunkt anbinden; Authentisierung, Netzgrenzen und Eingabegrößen begrenzen.
• Antwortzeit, Durchsatz und Speicherverbrauch bei unterschiedlichen Anfragelängen und Parallelitäten messen.
• Fehler, Zeitüberschreitungen und Überlast behandeln; Gesundheitsprüfungen von der fachlichen Qualität einer Antwort unterscheiden.
• Modell- oder Containerwechsel mit Vergleichsdaten, Freigabe und Rückkehrmöglichkeit organisieren.

• Einen abgestimmten NIM-Dienst bereitstellen und mit einer kleinen Anwendung erlaubte sowie verweigerte Zugriffe prüfen.
• Eine feste Sammlung synthetischer Anfragen mit verschiedenen Laststufen ausführen und die beobachteten Betriebsgrenzen dokumentieren.
• Zwei freigegebene Bereitstellungsstände vergleichen und einen Wechsel anhand von Qualitäts- und Laufzeitkriterien freigeben oder zurücknehmen.

Plattformteams, KI-Anwendungsentwickler und Administratoren mit Verantwortung für Modellbereitstellung.

Praktische Kenntnisse zu Linux, Containern, HTTP-APIs und GPU-Betrieb; Grundverständnis von Sprachmodellen und Inferenz.

Modell, NIM-Angebot, geeignete GPU-Hardware und die zugehörigen Nutzungsrechte werden vorab vereinbart. Es wird keine uneingeschränkte Verfügbarkeit beliebiger Modelle oder Hardware zugesagt.

Sie erhalten eine Teilnahmebescheinigung von SCN.

Aufbaukurs für Teilnehmende mit praktischer Erfahrung in den genannten Voraussetzungen.

Besprechen Sie Ihre Lernziele vorab mit dem Trainer. Unsere Ansprechpartner unterstützen Sie bei individuellen Themen und Firmenschulungen.

Diese Angebote behandeln ergänzende Schwerpunkte. Wählen Sie nach Ihren Aufgaben und den jeweiligen Voraussetzungen; eine verbindliche Kursreihenfolge ist damit nicht vorgegeben.

• NVIDIA – GPU-Ressourcen für KI-Anwendungen planen und betreiben