Cloud GPU mieten für LLM: Der praktische Leitfaden

Wenn du ein LLM trainieren oder feintunen willst, kommst du am Mieten von Cloud-GPUs nicht vorbei. Die eigene Hardware lohnt sich nur in Ausnahmefällen – und genau hier beginnt das Thema cloud gpu mieten für llm. In diesem Guide zeige ich dir, wie du als Praktiker entscheidest, welche GPU du brauchst, wie du stundenweise mietest und wo die typischen Kostenfallen liegen. Ich gehe davon aus, dass du schon mal ein Modell trainiert hast, aber noch nicht jede Woche GPU-Stunden abrechnest.

Warum du für LLMs keine eigene Hardware kaufen solltest

Ein einzelnes Training eines 7B-Parameter-Modells auf einer A100 dauert je nach Setup mehrere Tage. Danach steht die Karte vielleicht wochenlang ungenutzt. Der Stromverbrauch, die Kühlung und der Abschreibungszeitraum fressen dein Budget auf. Genau hier greift das cloud gpu stundenweise mieten: Du zahlst nur die Stunden, in denen die GPU wirklich rechnet. Für Startups ist das der einzige Weg, überhaupt mit großen Modellen zu arbeiten, ohne sechsstellig in Hardware zu investieren.

Ein weiterer Punkt: Die Hardware-Generationen wechseln schnell. Was heute State-of-the-Art ist, ist in zwei Jahren Mittelmaß. In der Cloud wechselst du einfach auf die neue Generation, ohne Altgeräte verkaufen zu müssen. Für Experimente und schnelle Iterationen ist das Gold wert.

Die richtige GPU-Klasse für dein LLM-Vorhaben

Nicht jedes LLM braucht eine H100. Die Wahl hängt von drei Faktoren ab: Modellgröße, Kontextlänge und ob du trainierst oder nur inferierst.

Training und Feintuning: Wo die VRAM-Grenzen liegen

Für llm training mit einem 7B-Modell reicht oft eine einzelne A100 mit 80 GB, wenn du mit LoRA oder QLoRA arbeitest. Für volles Fine-Tuning ohne Parameter-Efficient-Methoden brauchst du eher zwei bis vier GPUs. Ein 70B-Modell zu trainieren, ist ohne Multi-Node-Setup nicht realistisch – hier sind H100-Cluster mit NVLink Pflicht. Ich empfehle: Fang mit einer A100 an, teste dein Setup, und skaliere erst, wenn die Loss-Kurve stabil läuft.

Inference: Kleiner ist oft besser

Für reine Inferenz, also das Betreiben eines fertigen Modells, brauchst du keine Trainings-GPU. Eine L4 oder L40S reicht für viele 7B-Modelle mit Quantisierung locker. Das spart massiv Geld, weil die Stundensätze deutlich niedriger liegen. Wenn du viele parallele Requests bedienst, lohnt sich eher eine A10G oder eine T4 – je nach Throughput und Latenz-Anforderung.

Stundenweise mieten ohne Vertrag: So funktioniert es wirklich

Viele Anbieter locken mit cloud gpu mieten ohne vertrag. Das ist bei den großen Hyperscalern wie AWS oder Azure selten der Fall – dort zahlst du oft Reserved Instances, wenn du günstige Preise willst. Bei den spezialisierten GPU-Clouds wie Vast.ai, RunPod oder Lambda Labs ist das anders: Du mietest per Sekunde oder Minute, zahlst nur die tatsächliche Laufzeit und kannst jederzeit stoppen. Das ist ideal für Experimente, bei denen du abends die Instanz herunterfährst und morgens weiterarbeitest.

Wichtig: „Ohne Vertrag“ heißt nicht „ohne Zahlungsmittel“. Du musst trotzdem ein Konto anlegen und meist ein Guthaben aufladen. Die Abrechnung erfolgt dann minutengenau. Bei Vast.ai mietest du direkt von privaten Anbietern – die Preise sind oft die günstigste cloud gpu mieten Variante, aber du musst auf die Hardware-Konfiguration achten. Manche Maschinen haben alte CPU-Generationen oder zu wenig RAM, was den Datendurchsatz bremst.

Anbieter im Vergleich: Worauf du für LLMs achten musst

Ein cloud gpu anbieter vergleich für llm sollte nicht nur die Stundensätze vergleichen, sondern auch die Netzwerk-Infrastruktur. Für verteiltes Training brauchst du NVLink oder mindestens 25-Gbit/s-Netzwerk zwischen den GPUs. Bei günstigen Anbietern fehlt das oft – dann skaliert dein Training nicht linear.

Für gpu cloud mieten für startups ist RunPod oft der beste Einstieg, weil du keine Mindestlaufzeit hast und die API gut dokumentiert ist. Für größere Trainingsläufe ab 8 GPUs solltest du Lambda oder CoreWeave testen – die haben konsistentere Netzwerk-Performance.

Kostenkontrolle: So verhinderst du die Abrechnungsschocks

Die häufigste Anfängerfalle ist: Du vergisst, die Instanz zu stoppen, wenn das Training fertig ist. Ein 7B-Fine-Tuning mit LoRA dauert vielleicht 6 Stunden – aber die Instanz läuft dann 3 Tage weiter. Setze dir Budget-Alarme bei jedem Anbieter und nutze die Auto-Stop-Funktionen, die die meisten Clouds inzwischen anbieten. Zusätzlich solltest du deine Checkpoints regelmäßig auf Object Storage sichern, damit du eine abgebrochene Instanz nicht neu trainieren musst.

Ein weiterer Tipp: Nutze Spot-Instanzen, wo verfügbar. Bei Vast.ai und RunPod sind das die günstigsten Angebote. Der Haken: Die Instanz kann jederzeit unterbrochen werden. Für Experimente, die du neu starten kannst, ist das ideal. Für produktive Training-Jobs, die durchlaufen müssen, lieber On-Demand nehmen.

Für Anfänger: Der erste LLM-Trainingslauf in der Cloud

Wenn du zum ersten Mal gpu mieten für ki modelle willst, gehst du am besten so vor: Suche dir ein fertiges Docker-Image mit PyTorch und CUDA, das der Anbieter bereitstellt. Dann startest du eine einzelne GPU mit 24 GB VRAM (z.B. eine RTX 4090 oder L4) und testest zuerst mit einem kleinen Modell wie einem 1B-Parameter-LLM. So lernst du die Abrechnung kennen, ohne sofort 10 Dollar pro Stunde zu verbrennen.

Erst wenn du das Setup stabil hast, mietest du eine A100 oder H100 für das eigentliche Training. Viele Anbieter haben auch Jupyter-Notebooks als Einstiegspunkt – das ist für cloud gpu mieten für anfänger der einfachste Weg, weil du keine SSH-Konfiguration brauchst. Du öffnest das Notebook, installierst deine Pakete und startest das Training direkt.

Typische Fehler und wie du sie vermeidest

Der größte Fehler ist, die GPU-Stunden nach dem Training nicht zu stoppen. Der zweite ist, die falsche GPU-Klasse zu wählen. Viele mieten eine H100 für Inference und zahlen das Vierfache des Nötigen. Der dritte Fehler: Du ignorierst die Datenübertragungskosten. Wenn dein Datensatz 100 GB groß ist und du ihn von S3 in die GPU-Cloud lädst, können die Transfergebühren teurer sein als die GPU-Stunden selbst. Prüfe daher, ob der Anbieter eine kostenlose oder günstige Datenübertragung innerhalb seiner eigenen Region anbietet.

Ein letzter Punkt: Teste die Netzwerk-Geschwindigkeit zwischen deinem Rechner und der Cloud. Wenn du interaktiv in Jupyter arbeitest, willst du keine Latenz von 300 ms. Wähle einen Anbieter mit Rechenzentrum in Europa, wenn du in Deutschland arbeitest – das reduziert die Latenz spürbar.

Fazit: So kommst du mit kleinem Budget zu großen Modellen

Cloud GPUs mieten für LLMs ist heute der Standard für jedes ernsthafte ML-Projekt. Du musst nur diszipliniert mit der Abrechnung umgehen und die richtige GPU für den jeweiligen Job wählen. Starte klein, nutze Spot-Instanzen für Experimente und stoppe immer deine Instanzen. Dann kommst du mit ein paar hundert Euro pro Monat erstaunlich weit – selbst für 7B-Fine-Tuning. Und wenn du später skalierst, hast du die Prozesse schon im Griff.