Ratgeber
Cloud GPU mieten für LLM Training: So kalkulierst du richtig
Wenn du ein LLM trainierst, ist die Frage nicht ob du Cloud-GPUs nutzt, sondern welche und zu welchem Preis. Wer schon einmal 300 Euro für eine Nacht auf einer A100 verbrannt hat, nur weil der Checkpoint zu groß war, kennt das Problem. Dieser Artikel ist ein ehrlicher Blick darauf, wie du cloud gpu mieten für llm training ohne böse Überraschungen hinbekommst – inklusive der Kostenfallen, die in den wenigsten Blogposts stehen.
Stundenpreise sind nicht der einzige Preis
Der offensichtliche Einstieg ist der cloud gpu training preisvergleich. Aber Achtung: Die große Zahl auf der Anbieterseite ist nur ein Teil der Rechnung. Bei LLM-Training spielen drei Dinge mit, die du vorab klären musst:
- VRAM-Kapazität: Ein 7B-Modell in bf16 braucht rund 14 GB nur für die Gewichte. Dazu kommen Optimizer-States, Gradienten und Aktivierungen. Ohne 40 oder 80 GB wirst du schnell eng.
- Interconnect: Wenn du mehrere gpus für llm training mieten willst, entscheidet NVLink oder InfiniBand über die reale Skalierung. Zwei GPUs ohne schnellen Link bringen oft nur 1,5x Speedup.
- Egress und Storage: Das Hochladen von 500 GB Trainingsdaten ist meist umsonst. Das Runterladen des finalen Modells kostet oft pro GB. Klingt banal, ist aber bei wöchentlichen Runs ein echter Posten.
Vergleiche also nicht nur den Stundenpreis, sondern kalkuliere die Time-to-Result. Eine teurere H100, die das Training in 6 statt 10 Stunden durchzieht, kann unterm Strich günstiger sein als eine A100. Das ist der Kern eines sinnvollen cloud gpu training preisvergleich.
Wann sich eine dedizierte GPU-Cloud für PyTorch lohnt
Für PyTorch-Workloads gibt es keinen Grund, an der Infrastruktur zu sparen, wenn du produktiv sein willst. Wer eine gpu cloud für pytorch training mieten will, sollte auf CUDA-Treiber-Versionen und PyTorch-Builds achten. Viele Anbieter haben zwar Images, aber die sind oft veraltet. Ich hatte schon den Fall, dass eine ältere CUDA-Version ein Modell einfach nicht starten ließ – das kostete 45 Minuten Debugging, die ich trotzdem bezahlt habe.
Praktischer Tipp: Wähle einen Anbieter, der dir ein Basis-Image mit PyTorch 2.x und CUDA 12 gibt, oder baue dein eigenes Docker-Image. Das ist anfangs Arbeit, spart aber auf Dauer Zeit und Nerven. Wer gpu cloud für ki training mieten will, kommt an Docker ohnehin nicht vorbei, wenn er reproduzierbare Runs haben möchte.
Die Qual der Wahl: Einzel-GPU vs. Multi-GPU-Setup
Wann eine einzelne GPU reicht
Für Fine-Tuning oder LoRA-Adapter auf Modellen bis 13B reicht oft eine einzelne GPU mit 48 oder 80 GB. Das ist die einfachste Art, cloud gpu training ohne eigene hardware zu betreiben. Du sparst dir das Thema verteiltes Training komplett, weil du in einem einzigen Prozess bleibst. Gerade bei Experimenten, die du am Tag mehrfach startest, ist das unschlagbar flexibel.
Wann du auf Multi-GPU gehen musst
Sobald du ein Modell ab 30B Parametern von Grund auf trainierst oder ein sehr langes Kontextfenster nutzt, wirst du mehrere gpus für llm training mieten müssen. Dann zählt nicht mehr nur der GPU-Preis, sondern auch die Node-Topologie. Frage beim Anbieter explizit nach, ob alle GPUs in einer Node hängen und per NVLink verbunden sind. Wenn du vier GPUs auf vier verschiedene Maschinen verteilt bekommst, bricht dein Training je nach Modellgröße in sich zusammen.
Ein realistisches Beispiel: Ein 70B-Modell mit DeepSpeed ZeRO-3 auf 8 H100s mit 80 GB – das ist ein Standard-Setup, das in der Cloud gut funktioniert. Aber die Planung des Speicherbedarfs ist komplex. Rechne immer mit 20 Prozent Overhead für Aktivierungen, sonst bekommst du OOM-Fehler mitten im Run.
Kostenfallen beim Mieten: Spot-Instanzen und Unterbrechungen
Viele Anbieter locken mit Spot-Preisen, die 60-70 Prozent unter dem On-Demand-Preis liegen. Für Inference oder kurze Jobs ist das super. Für LLM-Training kann es ein Albtraum sein. Wenn deine Instanz nach 4 Stunden gekillt wird, verlierst du nicht nur die Rechenzeit, sondern musst auch den Checkpoint-Load und das Neustarten bezahlen. Bei einem langen Training ist das Risiko meist nicht wert.
Meine Faustregel: Wenn der Run länger als 12 Stunden dauert, nimm On-Demand. Wenn du nur Hyperparameter-Sweeps fährst, die je 30 Minuten dauern, kannst du ruhig Spot nehmen. So bleibst du bei der gpu cloud für ki training mieten wirtschaftlich, ohne die Stabilität zu gefährden.
Konkrete Workload-Typen und ihre Anforderungen
Nicht jedes LLM-Training ist gleich. Die Anforderungen an die GPU-Cloud unterscheiden sich stark, je nachdem, was du tust:
| Workload | Empfohlene GPU | VRAM | Typische Dauer |
|---|---|---|---|
| LoRA / PEFT auf 7B-Modell | L40S, RTX 6000 Ada | 48 GB | 1-3 Stunden |
| Full Fine-Tuning auf 13B | A100 80GB, H100 | 80 GB | 6-12 Stunden |
| Pre-Training eines 7B-Modells | H100 (mehrere) | 80 GB x 4-8 | Tage bis Wochen |
| Inference-Serving für 70B | A100 80GB oder H100 | 80 GB | Dauerhaft |
Diese Tabelle ist keine Kaufberatung, sondern eine Orientierung. Wer gpu cloud für neuronale netze trainieren will, sollte sich immer an den realen Speicherbedarf des eigenen Modells halten und nicht an den Marketing-Versprechen des Anbieters.
Warum der Anbieter-Wechsel nicht weh tut
Ein Vorteil der Cloud ist die Wechselbarkeit. Wenn ein Anbieter die Preise erhöht oder die Warteschlange zu lang wird, kannst du in 30 Minuten auf einen anderen umziehen. Das setzt voraus, dass du dein Training als Container baust und die Daten in einem Objekt-Storage wie S3 oder GCS hältst. Wer alles auf einem einzelnen Anbieter-Volume liegen hat, macht sich abhängig.
Ich halte mir immer zwei Anbieter warm: einen für die täglichen Experimente, einen als Fallback. So kann ich bei Engpässen oder Preissprüngen schnell reagieren. Das ist ein entscheidender Teil der Strategie, wenn du cloud gpu für ki training mieten willst – denn es gibt nichts Schlimmeres, als mitten in einer Deadline auf eine volle Warteschlange zu warten.
Dein Weg zum fairen Preis-Leistungs-Verhältnis
Am Ende läuft alles auf eine einfache Rechnung hinaus: Was kostet mich das Training pro Iteration? Dazu gehören GPU-Stunden, Storage, Egress und deine eigene Zeit für Debugging. Wenn du diese Zahl kennst, kannst du fundiert entscheiden, ob du cloud gpu mieten für llm training oder doch lieber auf eine ältere Generation ausweichst.
Mein Rat: Starte mit einer einzigen GPU, bevor du mehrere gpus für llm training mieten planst. Verifiziere dein Modell und deine Datenpipeline auf kleiner Flamme. Erst wenn das Modell konvergiert und die Pipeline stabil läuft, skaliere hoch. Das spart nicht nur Geld, sondern auch Frust – und genau das ist der Unterschied zwischen einem teuren Hobby und professionellem ML-Engineering.