Ratgeber
H100 vs A100 mieten: Was sich für deinen Workload wirklich lohnt
Wenn du vor der Entscheidung stehst, eine Cloud-GPU zu mieten, ist die Frage H100 vs A100 mieten mittlerweile Standard. Beide Karten sind bei den großen Anbietern verfügbar, aber der Unterschied ist nicht nur eine Zahl auf dem Papier. Ich habe in den letzten Monaten beide Varianten für verschiedene Projekte gemietet – von LoRA-Fine-Tuning bis hin zu längeren Inference-Jobs – und kann dir sagen: Die richtige Wahl hängt weniger von der reinen Rechenleistung ab, sondern davon, wie du die GPU tatsächlich auslastest.
Die harten Fakten: Spezifikationen im direkten Vergleich
Die A100 (40 GB und 80 GB) und die H100 (80 GB und 94 GB) sind beide auf Hopper- beziehungsweise Ampere-Architektur gebaut. Die H100 bringt im Vergleich zur A100 etwa das 1,5- bis 2-fache an FP16-Durchsatz, vor allem dank der neuen Transformer-Engine. Für reines FP32-Training ist der Unterschied kleiner – da spielt die A100 oft noch ihre Stärken aus, weil sie bei manchen Anbietern deutlich günstiger ist.
| Eigenschaft | A100 80GB | H100 80GB |
|---|---|---|
| FP16 (Tensor Core) | 312 TFLOPS | ~990 TFLOPS (mit Sparsity) |
| BF16 | 312 TFLOPS | ~990 TFLOPS |
| FP32 | 19,5 TFLOPS | 67 TFLOPS |
| VRAM | 80 GB HBM2e | 80 GB HBM3 |
| Speicherbandbreite | 2,0 TB/s | 3,35 TB/s |
| NVLink | 600 GB/s | 900 GB/s |
Die Speicherbandbreite ist für LLM-Inference oft wichtiger als die reine Rechenleistung. Bei autoregressivem Token-Sampling hängt die Geschwindigkeit stark davon ab, wie schnell die Gewichte aus dem VRAM gelesen werden. Hier gewinnt die H100 klar – aber das merkt man nur, wenn man tatsächlich genug Tokens pro Sekunde braucht.
Preisliche Realität: Was kostet die Stunde wirklich?
Die Stundentarife variieren stark zwischen Anbietern wie AWS, GCP, Azure und spezialisierten GPU-Clouds. Grob gesagt: A100-80GB liegt zwischen 1,50 und 3,50 Euro pro Stunde, H100-80GB zwischen 2,50 und 5,50 Euro. Bei Reserved-Instances oder Spot-Instances sinken die Preise, aber dann musst du mit Unterbrechungen rechnen.
Der entscheidende Punkt: Ein H100-Stundenpreis ist nicht automatisch teurer, wenn du die Zeitersparnis einrechnest. Ein Training, das auf der A100 20 Stunden dauert, läuft auf der H100 vielleicht in 12 Stunden. Bei einem Stundensatz von 3,00 Euro (A100) zahlst du 60 Euro, bei 4,50 Euro (H100) nur 54 Euro – und hast zusätzlich schneller Ergebnisse. Das ist das klassische Beispiel, warum ein reiner Preisvergleich pro Stunde irreführen kann.
Training: Wo die H100 ihren Preis rechtfertigt
Für das Training großer Transformer-Modelle – also alles ab 7B Parametern aufwärts – ist die H100 wegen der Transformer-Engine und der höheren Speicherbandbreite klar im Vorteil. Die BF16-Beschleunigung ist nicht nur Marketing: In meinen Tests mit einem 13B-Modell war der Durchsatz um 70–80 % höher als auf der A100, ohne dass ich die Batch-Size anpassen musste.
Bei kleineren Modellen oder bei LoRA-Adapter-Training sieht die Sache anders aus. Hier dominiert oft die Speicherlatenz, und die A100 liefert ähnliche Ergebnisse. Wenn dein Fine-Tuning also nur wenige Stunden dauert, sparst du mit der A100 bares Geld. Wer aber täglich mehrere Trainingsläufe startet, sollte die H100 nehmen – auch wenn der Stundensatz höher ist.
Inference: Der Speicher macht den Unterschied
Bei der LLM-Inference ist die Rechenleistung selten der Flaschenhals – es ist die Speicherbandbreite. Ein 70B-Modell in FP16 braucht etwa 140 GB, das passt also auf keine der beiden Karten einzeln. Hier wird es spannend: Mit Tensor-Parallelismus über zwei GPUs kannst du auf A100- oder H100-Systemen arbeiten. Die H100 hat mit 3,35 TB/s pro Karte einen deutlichen Vorteil, aber auch die A100 ist bei kleineren Modellen (7B, 13B) völlig ausreichend.
Ein Beispiel: Für einen Chatbot mit einem 7B-Modell in FP16 (also ~14 GB VRAM) liefern beide Karten mehr als 50 Tokens pro Sekunde. Der Unterschied liegt bei 10–15 %, den du in einer API-Antwort kaum spürst. Erst wenn du mit 32B- oder 70B-Modellen arbeitest und hohe Token-Raten brauchst, lohnt sich die H100. Für reine Batch-Inference – also wenn du offline viele Prompts verarbeitest – ist die A100 oft die wirtschaftlichere Wahl, weil du keine Latenzanforderungen hast.
Verfügbarkeit und Anbieterwahl: Das unterschätzte Kriterium
Ein Punkt, der in jedem Vergleich zu kurz kommt: die Verfügbarkeit. H100-Instanzen sind nach wie vor knapp, besonders bei den großen Hyperscalern. Du bekommst oft nicht sofort eine Instanz, sondern musst auf eine Warteliste. Die A100 ist dagegen fast überall sofort verfügbar – das ist in der Praxis oft der entscheidende Faktor, wenn du ein Experiment heute Abend noch starten willst.
Spezialisierte Anbieter wie Vast.ai, RunPod oder Lambda bieten oft bessere Preise und flexiblere Mietmodelle als AWS oder GCP. Allerdings musst du dann selbst auf die Netzwerklatenz und die Stabilität achten. Bei Multi-GPU-Training ist das InfiniBand-Netzwerk entscheidend – nicht alle günstigen Anbieter haben das. Achte also nicht nur auf den GPU-Preis, sondern auch auf die Interconnect-Geschwindigkeit.
Praktische Entscheidungshilfe: Welche Karte für welchen Use Case?
Ich habe mir eine einfache Faustregel angewöhnt, die dir vielleicht auch hilft:
- Fine-Tuning unter 10B Parametern: A100 reicht völlig, nimm die günstigste verfügbare Instanz.
- Training von 10B bis 30B: H100, wenn du mehr als 5 Stunden pro Lauf rechnest – die Zeitersparnis gleicht den Preis aus.
- Inference mit hoher Token-Rate (> 100 Tokens/s): H100, sonst A100.
- Experimentieren und Debugging: Nimm die A100, weil du oft nur wenige Minuten rechnest und die Instanz neu startest.
Letztlich ist H100 vs A100 mieten keine Frage von „besser oder schlechter“, sondern von deinem konkreten Workload. Wenn du unsicher bist, starte mit einer A100, mache ein kleines Benchmark mit deinem eigenen Modell und deinen Daten – und wechsle dann die Instanz, wenn die Metriken es rechtfertigen. Das kostet dich eine Stunde Zeit, spart dir aber am Ende viel Geld.