NVIDIA – Verteilte Inferenz mit Dynamo planen und messen

Kursüberblick

Untersuchen Sie, wann eine verteilte Inferenzarchitektur gegenüber einem einzelnen Dienst sinnvoll ist. Mit NVIDIA Dynamo vergleichen Sie Routing, getrennte Verarbeitungsschritte und Skalierung unter definierten Qualitäts- und Lastbedingungen.

Dauer: 3 Tage.

Ihre Lernziele

  • Verteilte Inferenz mit konkreten Lastanforderungen begründen.
  • Dynamo-Routing und Ressourcenaufteilung durch Messungen bewerten.
  • Ausfallverhalten und Betriebsaufwand in die Architekturentscheidung einbeziehen.

Inhalte im Detail

  • Anfrageprofil und Zielwerte vor der Wahl einer verteilten Architektur festlegen.
  • Dynamo-Komponenten und unterstützte Inferenz-Backends nachvollziehbar zuordnen.
  • Prefill und Decode als getrennte Ressourcenanforderungen betrachten.
  • KV-Cache-bezogenes Routing und Datenbewegung im gewählten Setup untersuchen.
  • Skalierung, Worker-Ausfälle und Wiederverbindung unter kontrollierter Last prüfen.
  • Leistung, Mehrverbrauch und zusätzliche Betriebsabhängigkeiten gegeneinander abwägen.

Praktische Übungen

  • Vergleichen Sie eine einfache und eine vereinbarte verteilte Inferenzkonfiguration anhand derselben Mischung aus kurzen und langen Anfragen.
  • Untersuchen Sie den Effekt wiederkehrender Anfragepräfixe auf Routing und Antwortzeit anhand nachvollziehbarer Messwerte.
  • Unterbrechen Sie einen Laborworker und prüfen Sie Auswirkungen auf laufende Anfragen, Wiederanlauf und erreichbare Dienstqualität.

Zielgruppe

Fortgeschrittene KI-Plattformteams.

Voraussetzungen

Kubernetes, GPU-Inferenz und Lastmessung für Sprachmodelle.

Software und Übungsumgebung

Getrennte GPU-Laborumgebung mit Testdaten. Hardwaregeneration, Treiber, Softwarestand, Modellrechte und gegebenenfalls benötigte NVIDIA-Lizenzen werden vorab auf die Übungen abgestimmt; Zugang erfolgt lokal oder per Fernzugriff. Vereinbarter Dynamo-Backendstand und ausreichende GPU-Ressourcen; Mehrknotentests nach Laborausstattung.

Teilnahmebestätigung

Sie erhalten eine Teilnahmebestätigung von SCN.

Einordnung des Seminars

Der Einstieg richtet sich nach den genannten Voraussetzungen. Die Lernziele werden an eigenen Aufgaben in einer getrennten Testumgebung bearbeitet.

Ansprechpartner

Ihre Berater für das Training NVIDIA – Verteilte Inferenz mit Dynamo planen und messen

Vorbereitung Ihres Trainings

Besprechen Sie Ihre Lernziele vorab mit dem Trainer. Unsere Ansprechpartner unterstützen Sie bei individuellen Themen und Firmenschulungen.

Buchung

Buchung


Das Seminar wurde auf die Merkliste gesetzt


Das von Ihnen gewählte Seminar wurde bereits auf die Merkliste gesetzt


Bitte wählen Sie einen freien Termin aus


Bitte geben Sie Ihren Wunschtermin im Format tt.mm.jjjj ein


Bitte wählen Sie einen freien Termin aus


Bitte geben Sie den gewünschten Termin im Format tt.mm.jjjj der Schulung ein

Dauer 3 Tage, ca. 6h/Tag
1.Tag: 10:00 Uhr, weitere ab 09:00 Uhr
Preis € 2.670,00 zzgl. MwSt.
pro Teilnehmenden
Leistungen Live Durchführung durch einen bei uns fest angestellten Trainer, Schulungsunterlagen als PDF wahlweise in deutscher oder englischer Sprache, Teilnahmebestätigung, Laborumgebung für die praktischen Übungen, Verpflegung.
Sprache Deutsch - bei Firmenseminaren ist auch Englisch möglich
Seminarunterlagen Ausführliche Schulungs- und Begleitmaterialien in deutscher Sprache oder wahlweise in englischer Sprache als PDF
Teilnahmezertifikat ja, selbstverständlich
Barriere freier Zugang an den meisten Standorten verfügbar
Verpflegung Kalt- / Warmgetränke, Mittagessen (wahlweise vegetarisch) - nicht bei Firmen- und Online Seminaren
Support 3 Anrufe im Seminarpreis enthalten
Methoden Vortrag, Demonstration, praktische Übungen am System
Seminararten Mit Trainer vor Ort: Öffentlich oder Inhaus - Alternativ als Online Training bestellbar
Durchführungsgarantie ja, ab 2 Teilnehmern, max. 8 Teilnehmer, Details

Wählen Sie einen freien Termin für Bregenz aus


























Dauer 3 Tage, ca. 6h/Tag
1.Tag: 10:00 Uhr, weitere ab 09:00 Uhr
Preis € 4.350,00 zzgl. MwSt.
gilt für bis zu 8 Teilnehmende bei einer Online-Durchführung. Ggf. kommen Kosten für die Schulungsumgebung hinzu.
Leistungen Live und online Durchführung durch einen bei uns fest angestellten Trainer, Schulungsunterlagen als PDF wahlweise in deutscher oder englischer Sprache, Teilnahmebestätigung, Optional: Laborumgebung für die praktischen Übungen und Reisespesen.
Sprache Deutsch - bei Firmenseminaren ist auch Englisch möglich
Seminarunterlagen Ausführliche Schulungs- und Begleitmaterialien in deutscher Sprache oder wahlweise in englischer Sprache als PDF
Teilnahmezertifikat ja, selbstverständlich
Barriere freier Zugang an den meisten Standorten verfügbar
Verpflegung Kalt- / Warmgetränke, Mittagessen (wahlweise vegetarisch) - nicht bei Firmen- und Online Seminaren
Support 3 Anrufe im Seminarpreis enthalten
Methoden Vortrag, Demonstration, praktische Übungen am System
Seminararten Mit Trainer vor Ort: Öffentlich oder Inhaus - Alternativ als Online Training bestellbar
Durchführungsgarantie ja, ab 2 Teilnehmern, max. 8 Teilnehmer, Details

Geben Sie hier Ihren Wunschtermin für Bregenz



Dauer 3 Tage, ca. 6h/Tag
1.Tag: 10:00 Uhr, weitere ab 09:00 Uhr
Preis € 2.670,00 zzgl. MwSt.
pro Teilnehmenden
Leistungen Live Durchführung durch einen bei uns fest angestellten Trainer, Schulungsunterlagen als PDF wahlweise in deutscher oder englischer Sprache, Teilnahmebestätigung, Laborumgebung für die praktischen Übungen.
Sprache Deutsch - bei Firmenseminaren ist auch Englisch möglich
Seminarunterlagen Ausführliche Schulungs- und Begleitmaterialien in deutscher Sprache oder wahlweise in englischer Sprache als PDF
Teilnahmezertifikat ja, selbstverständlich
Barriere freier Zugang an den meisten Standorten verfügbar
Verpflegung Kalt- / Warmgetränke, Mittagessen (wahlweise vegetarisch) - nicht bei Firmen- und Online Seminaren
Support 3 Anrufe im Seminarpreis enthalten
Methoden Vortrag, Demonstration, praktische Übungen am System
Seminararten Mit Trainer vor Ort: Öffentlich oder Inhaus - Alternativ als Online Training bestellbar
Durchführungsgarantie ja, ab 2 Teilnehmern, max. 8 Teilnehmer, Details

Wählen Sie bitte einen freien Termin aus


























© 2026 SCN GmbH. All rights reserved.