Ratgeber
NVIDIA H100 Preis pro Stunde: Was du beim Cloud-Mieten wirklich zahlst
Wenn du regelmäßig LLMs feintunest oder Inference-Services betreibst, kommst du an der H100 nicht vorbei. Aber der nvidia h100 preis pro stunde schwankt je nach Anbieter stärker, als viele denken. Ich habe in den letzten Monaten für verschiedene Projekte GPUs gemietet – von kurzen Fine-Tuning-Jobs bis zu Dauer-Inference. Dabei ist mir eines klar geworden: Der reine Stundensatz ist nur die halbe Wahrheit. Was du wirklich zahlst, hängt von Speicher, Netzwerk, Spot-Preisen und versteckten Aufschlägen ab. Dieser Artikel gibt dir einen ehrlichen Überblick, ohne Marketing-Geschwafel.
Warum der H100-Stundensatz so stark variiert
Der nvidia h100 stundenpreis cloud bewegt sich grob zwischen 1,50 und 4,50 US-Dollar pro Stunde – je nach Anbieter, Region und Vertragsmodell. Aber warum ist die Spanne so groß? Der Grund sind unterschiedliche Hardware-Konfigurationen. Eine H100 mit 80 GB HBM3 kostet mehr als eine mit 80 GB HBM2e (die gibt es zwar nur bei der SXM-Variante, aber die Unterschiede sind real). Auch die Netzwerkanbindung spielt eine Rolle: H100 mit NVLink und InfiniBand sind teurer als einzelne PCIe-Karten ohne schnelles Interconnect.
Zusätzlich gibt es große Unterschiede zwischen On-Demand-Preisen und Spot-Instanzen. On-Demand zahlst du den vollen Preis, bekommst dafür aber eine garantierte Verfügbarkeit. Spot-Preise können 60–70 % günstiger sein, aber dein Job kann jederzeit unterbrochen werden. Für Training mit Checkpointing ist das okay, für produktive Inference eher nicht.
Region und Abrechnungsmodell beeinflussen den Preis
Anbieter in den USA sind oft günstiger als europäische Rechenzentren – aber dann kommen Latenz und Datenhaltung ins Spiel. Manche Anbieter rechnen pro Sekunde ab, andere pro Stunde. Das klingt banal, macht aber bei kurzen Jobs einen Unterschied. Wenn du nur 20 Minuten trainierst, zahlst du bei stundenweiser Abrechnung trotzdem eine volle Stunde.
Anbieter im Vergleich: Was du für dein Geld bekommst
Ein nvidia h100 cloud gpu preisvergleich lohnt sich nur, wenn du auch die Leistung berücksichtigst. Ich habe folgende Anbieter getestet – die Preise sind Richtwerte aus meiner letzten Mietperiode und können sich ändern.
| Anbieter | Preis/Stunde (ca.) | Besonderheit |
|---|---|---|
| AWS (p5.48xlarge) | ~3,60 € | 8× H100, 3200 GB/s NVLink, gut für verteiltes Training |
| Azure (ND96isr H100 v5) | ~3,80 € | 96 vCPUs, 8× H100, gute InfiniBand-Anbindung |
| Google Cloud (a3-highgpu-8g) | ~3,40 € | 8× H100, 2 TB SSD, stabile Latenz |
| Lambda Labs | ~1,80 € | 1× H100, einfacher Einstieg, kein Schnickschnack |
| Vast.ai | ~1,50 € | Community-Anbieter, günstig, aber Qualität variiert |
| RunPod | ~1,90 € | Serverless Optionen, gut für Inference |
Die großen Hyperscaler sind teurer, bieten aber garantierte Verfügbarkeit und Support. Lambda und RunPod sind ein guter Mittelweg. Vast.ai ist am günstigsten, aber du musst Glück mit dem Host haben – ich habe schon Maschinen mit defekten GPUs erwischt.
H100 mieten für LLM-Training: Was kostet die Stunde wirklich?
Beim nvidia h100 mieten für llm training kommt es auf mehr an als auf den reinen Stundensatz. Ein 7B-Parametermodell mit LoRA zu feintunen dauert auf einer H100 vielleicht 2–3 Stunden – das sind also 3,60–10,80 € bei einem Mid-Tier-Anbieter. Klingt wenig. Aber wenn du ein 70B-Modell mit vollem Fine-Tuning trainierst, brauchst du mehrere GPUs parallel. Bei 8× H100 über 24 Stunden landest du schnell bei 500–700 €.
Wichtig ist auch die Speicherbandbreite: Die H100 hat 3,35 TB/s. Wenn dein Training an der Speicherbandbreite scheitert, nutzt du die GPU nicht aus. Achte darauf, dass der Anbieter die SXM-Variante anbietet, nicht die PCIe-Version – die hat nur 2 TB/s und ist für Training spürbar langsamer.
Checkpointing und Spot-Instanzen sparen Geld
Für Training empfehle ich Spot-Instanzen, wenn du Checkpoints alle 10–15 Minuten speicherst. Das kann den nvidia h100 preis pro stunde um 50 % senken. Ich habe so ein 13B-Modell für ein Drittel des On-Demand-Preises trainiert – mit einem Skript, das bei Unterbrechung automatisch neu startet.
NVIDIA H100 Inferenzkosten pro Stunde: Rechnen lohnt sich
Bei der nvidia h100 inferenz kosten pro stunde sieht die Rechnung anders aus. Hier geht es nicht um Stunden, sondern um Tokens. Eine H100 schafft je nach Modell und Batch-Größe 10.000–50.000 Tokens pro Sekunde. Wenn du ein 70B-Modell mit 2.000 Tokens pro Sekunde auslieferst, kostet das bei 2 €/Stunde etwa 0,001 € pro 1.000 Tokens. Das ist günstig – aber nur, wenn die GPU ausgelastet ist.
Bei niedrigem Traffic zahlst du für Leerlauf. Deshalb sind Serverless-Angebote wie RunPod interessant: Du zahlst nur für tatsächliche Rechenzeit. Für einen Chatbot mit unregelmäßigem Traffic ist das oft günstiger als eine dedizierte Instanz.
Ein Tipp aus der Praxis: Teste die Latenz mit deinem Modell, bevor du dich auf einen Anbieter festlegst. Manche Cloud-GPUs haben eine höhere Streuung bei der Token-Generierung – das merkt der Nutzer sofort.
NVIDIA H100 Cloud-Anbieter im direkten Vergleich
Der nvidia h100 cloud anbieter vergleich zeigt: Es gibt keinen „besten“ Anbieter, nur den passenden für deinen Workload. Für ein Einzelprojekt mit kurzer Laufzeit ist Vast.ai unschlagbar günstig. Für produktive Workloads mit SLA würde ich Lambda oder RunPod nehmen. Die Hyperscaler lohnen sich nur, wenn du eh schon dort bist oder Compliance-Anforderungen hast.
Was ich bei jedem Anbieter prüfe: Wie schnell ist der Support? Gibt es eine API zum Starten/Stoppen von Instanzen? Wie ist die Abrechnung – pro Sekunde oder pro Stunde? Und: Wie schnell bekomme ich eine neue GPU, wenn die alte ausfällt? Bei Vast.ai kann das Stunden dauern, bei AWS ist es in Minuten erledigt.
Versteckte Kosten, die du nicht unterschätzen solltest
Viele Anbieter verlangen Aufpreise für zusätzlichen Speicher, öffentliche IPs oder Datenübertragung. Ein 1 TB NVMe-SSD kostet schnell 0,10–0,20 € pro Stunde extra. Das summiert sich bei Dauerbetrieb. Auch das Netzwerk-Interconnect ist oft ein separater Posten – bei AWS zahlst du für Elastic Fabric Adapter extra.
Preis-Leistungs-Tipps für dein ML-Budget
Wenn du den nvidia h100 preis pro stunde senken willst, ohne an Leistung zu verlieren, gibt es ein paar Hebel:
- Spot-Instanzen für Training mit Checkpoints – bis zu 70 % günstiger.
- Reservierte Kapazität für Dauerbetrieb – viele Anbieter geben 20–30 % Rabatt bei 1–3 Monaten Vorauszahlung.
- Richtige Batch-Größe – eine H100 mit Batch 64 kann effizienter sein als zwei mit Batch 32. Teste das mit deinem Modell.
- Quantisierung – mit FP8 oder INT8 kannst du oft auf einer H100 statt zwei arbeiten. Das halbiert deine Kosten.
Und noch ein Praxis-Tipp: Vergleiche nicht nur den Stundensatz, sondern rechne deinen konkreten Workload durch. Ein teurerer Anbieter mit schnellerem Netzwerk kann für verteiltes Training günstiger sein, weil die Skalierungseffizienz besser ist.
Fazit: So planst du dein H100-Budget realistisch
Der nvidia h100 stundenpreis cloud ist ein guter Ausgangspunkt, aber nicht das Ende der Rechnung. Für ein einzelnes Experiment solltest du 2–10 € einplanen, für ein größeres Fine-Tuning 100–1.000 €. Für Dauer-Inference kommen monatlich schnell 1.500–3.000 € zusammen. Nimm dir die Zeit, deine Workloads zu profilieren – dann findest du den Anbieter, der für dich am günstigsten ist. Und denk dran: Die Cloud-GPU-Landschaft ändert sich schnell. Was heute teuer ist, kann in einem Jahr anders aussehen.