H100 GPU mieten: Der praxisnahe Leitfaden für Training und Inference

Warum H100 GPU mieten oft die bessere Wahl ist als eigene Hardware

Wenn du mit großen Modellen arbeitest, kennst du das Problem: Ein eigenes H100-System kostet dich schnell fünfstellig – und nach 18 Monaten ist es technisch überholt. Beim h100 gpu mieten zahlst du nur die Stunden, die du wirklich brauchst. Für ein Fine-Tuning über Nacht oder eine Inference-Welle am Wochenende ist das unschlagbar flexibel. Ich habe selbst zwei Jahre lang eine eigene A100-Rack-Lösung betrieben und bin dann auf Mietmodelle umgestiegen. Der Grund war simpel: Die Skalierung nach oben und unten geht sofort, ohne dass ich Hardware abstoßen muss.

Dazu kommt der Aspekt der Reproduzierbarkeit. Wenn du eine bestimmte CUDA-Version oder einen speziellen Treiber brauchst, kannst du das in der Cloud einfach als Image festhalten. Bei eigener Hardware hast du nach dem dritten Update ein Flickwerk. Und für Experimente mit verschiedenen GPU-Größen – mal 1 GPU, mal 8 – ist Mieten sowieso der einzige Weg, der nicht dein Budget sprengt.

H100 SXM vs. PCIe: Was du für deinen Workload wählen solltest

Bevor du irgendwo auf „Mieten“ klickst, musst du den Unterschied zwischen den beiden H100-Varianten kennen. Die H100 SXM ist das Modul für Server-Racks, hat eine höhere TDP und nutzt NVLink für die direkte GPU-zu-GPU-Kommunikation. Die H100 PCIe ist eine Steckkarte für Standard-Server, hat weniger Bandbreite und ist oft etwas günstiger im Stundenpreis.

Für Training: SXM nehmen

Wenn du ein LLM mit mehreren Milliarden Parametern trainierst oder feintunst, ist die SXM-Variante die richtige Wahl. Gerade bei Datenparallelismus und Tensor-Parallelismus hängt die Performance stark an der Interconnect-Geschwindigkeit. PCIe-Karten kommunizieren über den PCIe-Bus, was bei allgather-Operationen schnell zum Flaschenhals wird. Ich habe in der Praxis gesehen, wie ein Training mit PCIe-Karten bis zu 30% langsamer lief als mit SXM – bei gleicher GPU-Anzahl.

Für Inference: PCIe reicht oft

Beim reinen Inferencing, also wenn du ein fertiges Modell auf Anfragen loslässt, ist die Interconnect-Geschwindigkeit meist zweitrangig. Hier zählt die Speicherbandbreite und die Rechenleistung einer einzelnen GPU. Für viele Anwendungen reicht die h100 pcie mieten cloud völlig aus und spart dir bares Geld. Wenn du also hauptsächlich eine API für Textgenerierung oder Embedding betreibst, schau dir die PCIe-Angebote an.

H100 GPU Stundensatz vergleichen: So gehst du vor

Der h100 gpu stundensatz vergleichen ist nicht trivial, weil die Anbieter unterschiedlich abrechnen. Manche rechnen pro Stunde und GPU, andere pro Minute, wieder andere haben Mindestlaufzeiten von 24 Stunden. Ein guter Ausgangspunkt ist die reine Rechenzeit, aber du musst auch auf versteckte Kosten achten: Datenübertragung, Storage, und vor allem die Wartezeit auf freie Kapazität.

Ein konkretes Beispiel: Anbieter A listet 2,50 € pro Stunde für eine H100 SXM, verlangt aber 0,10 € pro GB ausgehenden Traffics. Anbieter B hat 3,00 € pro Stunde, aber unbegrenzten Traffic inklusive. Wenn du regelmäßig große Checkpoints (50 GB+) aus der Cloud ziehst, ist B am Ende günstiger. Deshalb: Rechne deinen realen Workload durch, nicht nur den Listenpreis.

H100 mieten für LLM Training: Das musst du beachten

Beim h100 mieten für llm training gibt es ein paar Fallstricke, die ich dir ersparen will. Erstens: Die wenigsten Anbieter haben sofort freie Kapazität. Gerade bei den großen Clouds ist die Nachfrage so hoch, dass du oft Tage warten musst. Plane also nicht mit „Ich starte heute Abend mein Training“, sondern buche reserviert oder nutze Spot-Instanzen, wenn dein Training unterbrechbar ist.

Zweitens: Achte auf die CUDA-Version und die Treiber. Manche Clouds bieten nur ältere Stände an, die mit neueren PyTorch-Versionen inkompatibel sind. Ich hatte einmal ein Problem, wo ich eine bestimmte Flash-Attention-Optimierung brauchte, die nur mit CUDA 12.1 lief – der Anbieter hatte aber nur 11.8. Das kostete mich zwei Tage Debugging. Also: Vorab prüfen, ob das Image deinen Anforderungen entspricht.

Drittens: Die Skalierung. Wenn du ein großes Modell mit 70B Parametern trainierst, brauchst du einen h100 cluster mieten – also mehrere GPUs, die über NVLink oder InfiniBand verbunden sind. Frage beim Anbieter nach der Netzwerktopologie. Ein Cluster mit 8 GPUs in einem Node ist anders zu bewerten als 8 GPUs über zwei Nodes mit langsamerem Interconnect.

Günstige H100 mieten: Strategien, die wirklich funktionieren

Günstige h100 mieten ist kein Mythos, aber du musst wissen, wo du suchst. Erstens: Spot-Instances. Bei vielen Anbietern bekommst du bis zu 70% Rabatt, wenn du bereit bist, dass die Instanz jederzeit unterbrochen werden kann. Das eignet sich perfekt für Experimente, die du neu starten kannst, oder für Hyperparameter-Suchen mit Checkpointing.

Zweitens: Regionen. Die Preise unterscheiden sich je nach Rechenzentrum deutlich. Oft sind Standorte in weniger nachgefragten Regionen (z.B. nicht in Frankfurt, sondern in Zürich oder Warschau) deutlich günstiger. Die Latenz ist für Training egal, nur für Inference solltest du in der Nähe deiner Nutzer bleiben.

Drittens: Laufzeit-Rabatte. Wenn du einen h100 mieten stundenpreis über einen Monat oder länger buchst, geben die meisten Anbieter 20-40% Nachlass. Das lohnt sich, wenn du ohnehin ein länger laufendes Projekt hast. Aber Achtung: Du musst die Kapazität dann auch wirklich nutzen, sonst zahlst du für Leerlauf.

H100 GPU Cloud Anbieter Vergleich: Worauf du konkret achten solltest

Beim h100 gpu cloud anbieter vergleich hilft dir eine Checkliste, die über den reinen Preis hinausgeht. Ich habe die Erfahrung gemacht, dass diese Punkte am wichtigsten sind:

• API-Stabilität: Wie zuverlässig ist die API zum Starten und Stoppen von Instanzen? Gibt es Rate-Limits?
• Storage-Anbindung: Wie schnell ist das Dateisystem? Für Training mit großen Datensätzen brauchst du mindestens 1 GB/s Lesegeschwindigkeit.
• Support: Erreichst du bei Problemen einen Menschen? Bei einem 24h-Training willst du nicht auf ein Ticket warten.
• Transparenz: Gibt es eine klare Preisliste für alle Ressourcen (GPU, RAM, Storage, Traffic)? Oder kommen am Ende des Monats Überraschungen?
• Vertragslaufzeiten: Kannst du stundenweise buchen oder nur wochenweise? Für schnelle Experimente ist stundenweise besser.

Ein Tipp aus der Praxis: Teste den Anbieter immer mit einer kleinen Instanz für ein paar Stunden, bevor du dein großes Training darauf laufen lässt. So siehst du, wie die Performance real ist, ohne dass du gleich ein Vermögen ausgibst.

H100 mieten für Inference: So kalkulierst du richtig

Beim h100 mieten für inference geht es weniger um rohe Rechenleistung, sondern um Latenz und Durchsatz. Eine H100 schafft bei einem 7B-Modell mit FP16 und Batch-Größe 1 etwa 50-100 Tokens pro Sekunde – je nach Implementierung und Quantisierung. Wenn du also eine API betreibst, musst du ausrechnen, wie viele parallele Anfragen du erwartest und wie viele GPUs du brauchst, um die Antwortzeit unter 2 Sekunden zu halten.

Ein Rechenbeispiel: Angenommen, du hast 100 gleichzeitige Nutzer, die je 500 Tokens generieren wollen. Das sind 50.000 Tokens. Mit einer H100 und einem Durchsatz von 1.000 Tokens pro Sekunde (bei Batch-Inference) brauchst du also 50 Sekunden, um alle Anfragen abzuarbeiten. Wenn du eine maximale Wartezeit von 10 Sekunden willst, brauchst du 5 GPUs. Das entspricht bei einem Stundenpreis von 3 € und 24/7-Betrieb etwa 360 € pro Tag. So kannst du deine Kosten sauber kalkulieren.

Achte bei Inference zudem auf das h100 sxm mieten oder PCIe – für reines Inference reicht meist die PCIe-Variante, wie gesagt. Und vergiss nicht: Bei Inference zahlst du auch für die Zeit, in der die GPU idle ist. Skaliere also dynamisch herunter, wenn die Last sinkt.

Fazit: H100 mieten ist kein Hexenwerk, aber Planung ist alles

Ob du nun h100 gpu mieten willst für ein kurzes Fine-Tuning oder einen Dauerbetrieb für Inference – die Grundregeln sind dieselben. Kenne deinen Workload, vergleiche die Angebote auf Basis der Gesamtkosten und nicht nur des Stundenpreises, und teste immer zuerst mit einer kleinen Instanz. Die Flexibilität der Cloud lohnt sich vor allem dann, wenn du mit schwankender Last umgehen musst oder regelmäßig neue Modelle trainierst. Mit der richtigen Vorbereitung sparst du nicht nur Geld, sondern auch Nerven.