GPU mieten oder kaufen: Was sich für dein ML-Team wirklich rechnet

Die Frage GPU mieten oder kaufen kommt in jedem ML-Team irgendwann auf – meist dann, wenn die erste große Trainingsrechnung ins Haus steht. Ich habe in den letzten Jahren beides gemacht: erst zwei A100-Karten ins Rack gestellt, später fast alles in die Cloud verlagert. Beides hat Vor- und Nachteile, und die einfache Antwort „kommt drauf an“ hilft dir nicht weiter. Deshalb gehe ich hier den Rechenweg durch, den ich mir selbst gewünscht hätte: mit konkreten Zahlen, ehrlichen Annahmen und ohne Marketing-Geflunker.

Warum die Anschaffungskosten nur die halbe Wahrheit sind

Wenn du eine GPU kaufst, zahlst du den Listenpreis – bei einer H100 schnell 25.000 Euro oder mehr. Das klingt erstmal abschreckend. Aber der Kaufpreis ist nicht das, was dich langfristig kostet. Was wirklich zählt, sind die Gesamtkosten über die Lebensdauer: Strom, Kühlung, Rackplatz, Wartung, Abschreibung und die Zeit, die du mit Hardware-Betreuung verbringst.

Ein einfaches Beispiel: Eine A100 mit 80 GB VRAM zieht unter Volllast etwa 400 Watt. Bei 24/7-Betrieb und 0,40 Euro pro kWh (gewerblicher Strom in Deutschland, Stand 2025) sind das fast 3,50 Euro pro Tag nur für Strom. Dazu kommen Kühlung und Infrastruktur – realistisch 30 bis 50 Prozent obendrauf. Über drei Jahre kommst du so auf mehrere tausend Euro Betriebskosten, die du in der Anschaffungsrechnung leicht übersiehst.

Dazu kommt die Abschreibung. Hardware verliert rasant an Wert, gerade bei GPUs, wo jede Generation die Leistung pro Euro deutlich verbessert. Eine gebrauchte A100 ist heute ein Bruchteil dessen wert, was sie 2022 gekostet hat. Wenn du also kaufst, musst du sicher sein, dass du die Karte über ihre gesamte Lebensdauer wirklich auslastest – sonst verbrennst du Kapital.

Mieten: Flexibilität statt Kapitalbindung

Beim Mieten zahlst du einen Stundenpreis – bei Cloud-Anbietern wie AWS, Azure, Google Cloud oder spezialisierten GPU-Anbietern wie Vast.ai, RunPod oder Lambda Labs. Je nach Anbieter und GPU-Modell liegen die Preise für eine A100 zwischen 1,50 und 4,00 Euro pro Stunde, für eine H100 zwischen 3,00 und 8,00 Euro. Das klingt teuer, ist aber oft günstiger als gedacht, wenn du ehrlich rechnest.

Der entscheidende Vorteil: Du zahlst nur für die Stunden, die du tatsächlich nutzt. Für ein Fine-Tuning über das Wochenende mietest du einfach 48 Stunden, trainierst dein Modell und gibst die Instanz wieder frei. Keine Stillstandszeiten, keine Wartung, kein Strom. Und wenn die nächste GPU-Generation kommt, wechselst du ohne Verlust – du bleibst technisch aktuell, ohne alle paar Jahre neue Hardware zu kaufen.

Gerade bei wechselnden Workloads ist das Gold wert. Ich habe Projekte, die brauchen eine Woche lang 8 GPUs parallel, dann wieder drei Monate nichts. Solche Bursts lassen sich mit gemieteter Hardware perfekt abbilden. Beim Kauf müsstest du entweder überdimensionieren oder lange Wartezeiten in Kauf nehmen.

Wann sich der Kauf trotzdem lohnt – die 80-Prozent-Regel

Eine Faustregel, die ich gerne nutze: Wenn deine GPUs zu mehr als 80 Prozent ausgelastet sind – über Monate, nicht nur über Tage – dann kann Kaufen günstiger sein. Das gilt vor allem für kontinuierliches Training, bei dem du die Hardware nicht stillstehen lässt. Ein Beispiel: Wenn du ein Team von 5 Leuten hast, das durchgehend an einem großen Sprachmodell trainiert, dann läuft die Hardware 24/7. Da amortisiert sich ein Kauf nach etwa 12 bis 18 Monaten gegenüber Mietpreisen.

Aber Achtung: Die 80-Prozent-Regel greift nur, wenn du die Auslastung wirklich planen kannst. In der Praxis passiert oft das Gegenteil: Du kaufst eine GPU für ein bestimmtes Projekt, und danach steht sie rum, weil das nächste Projekt andere Anforderungen hat (mehr VRAM, andere Architektur). Dann ist der Kauf ein teures Denkmal.

Ein weiterer Punkt für den Kauf ist Datenschutz und Compliance. Wenn du Kundendaten nicht in die Cloud geben darfst – etwa wegen DSGVO-Auflagen oder weil dein Unternehmen ein eigenes Rechenzentrum hat – dann bleibt dir oft keine Wahl. In solchen Fällen musst du kaufen, auch wenn es wirtschaftlich nicht optimal ist.

Die versteckten Kosten des Mietens, die keiner nennt

Beim Mieten denkst du vielleicht, der Stundenpreis ist alles. Aber es gibt versteckte Kosten: Datenübertragung. Wenn du große Datensätze in die Cloud lädst oder trainierte Modelle wieder herunterlädst, können Egress-Gebühren anfallen – bei manchen Anbietern mehrere Cent pro Gigabyte. Bei einem 100-GB-Datensatz und täglichen Syncs summiert sich das schnell.

Dazu kommt die Einarbeitung. Du musst deine Trainingspipeline auf die Cloud-Infrastruktur umstellen: Container bauen, Storage anbinden, Netzwerk konfigurieren. Das kostet Entwicklerzeit, die du in der Mietpreis-Rechnung nicht siehst. Wenn dein Team noch nie mit Cloud-GPUs gearbeitet hat, rechne mit 1–2 Wochen Vorlauf, bis alles rund läuft.

Und dann ist da noch das Problem der Verfügbarkeit. Gerade bei den begehrten H100-Karten gibt es regelmäßig Engpässe. Du mietest also nicht immer genau die GPU, die du willst, sondern oft, was gerade frei ist. Das kann deine Experimente verzögern, wenn du auf eine bestimmte Konfiguration angewiesen bist.

Der hybride Ansatz: Das Beste aus beiden Welten

In der Praxis hat sich bei mir ein hybrides Modell bewährt: Ein kleiner Pool an eigenen GPUs für die Grundlast, Cloud-GPUs für Spitzen und Experimente. So deckst du den kontinuierlichen Bedarf günstig ab und kannst trotzdem skalieren, wenn ein Projekt plötzlich 16 GPUs braucht.

Ein Beispiel: Du hast zwei A100-Karten im Rack, die du für dein Haupttraining nutzt. Wenn du parallel ein Hyperparameter-Sweep starten willst, mietest du für 12 Stunden zusätzliche GPUs in der Cloud. Die Kosten sind überschaubar, und du bist nicht gezwungen, die eigenen Karten zu überlasten oder in neue Hardware zu investieren.

Der hybride Ansatz erfordert aber, dass deine Infrastruktur das unterstützt. Dein Trainingscode sollte cloud-fähig sein – also Container-basiert und mit externem Storage umgehen können. Das ist heute Standard, aber wenn du noch auf lokale Dateipfade angewiesen bist, wird der Umstieg nervig.

So entscheidest du für dein Team – eine konkrete Checkliste

Damit du nicht lange grübeln musst, hier eine Checkliste, die ich mit Kollegen durchgehe, wenn es um GPU mieten oder kaufen geht:

• Wie hoch ist die durchschnittliche Auslastung pro Woche? Wenn unter 50 Prozent: mieten. Wenn über 80 Prozent: Kauf prüfen.
• Wie planbar sind deine Workloads? Unregelmäßige Spitzen sprechen für Miete, konstanter Bedarf für Kauf.
• Wie schnell veralten deine GPU-Anforderungen? Wenn du mit neuesten Modellen (z.B. H100, B200) arbeitest, ist Mieten flexibler.
• Wie hoch sind deine Datenübertragungskosten? Wenn du täglich viele Terabyte bewegst, kann das Mieten teuer machen.
• Gibt es Compliance-Gründe gegen die Cloud? Dann ist Kaufen Pflicht.
• Hast du das Know-how für Hardware-Betrieb? Wenn nicht, miete – die Cloud-Anbieter kümmern sich um Strom, Kühlung und Ausfälle.

Diese Punkte helfen dir, eine fundierte Entscheidung zu treffen, ohne dich in Details zu verlieren.

Ein Blick in die Zukunft: Trends, die deine Entscheidung beeinflussen

Die Preise für Cloud-GPUs sinken tendenziell, weil immer mehr Anbieter auf den Markt drängen. Gleichzeitig werden die GPUs selbst leistungsfähiger – die nächste Generation bietet mehr VRAM und Rechenleistung pro Watt. Das macht Mieten langfristig attraktiver, weil du immer Zugriff auf die neueste Hardware hast, ohne Abschreibungsrisiko.

Aber auch das Kaufen wird nicht verschwinden. Große Forschungseinrichtungen und Unternehmen mit stabilen Workloads werden weiterhin eigene Cluster betreiben, gerade wenn sie spezielle Anforderungen an Netzwerk (z.B. InfiniBand) oder Datenschutz haben. Die Entscheidung ist also keine, die du einmal triffst – du solltest sie regelmäßig überprüfen, mindestens einmal pro Jahr, denn die Marktbedingungen ändern sich schnell.

Mein Rat: Fang klein an, miete für deine ersten Projekte, sammle Erfahrung mit Cloud-Workflows, und wenn du dann einen stabilen Bedarf erkennst, kannst du immer noch kaufen. So vermeidest du die teuersten Fehler, die ich selbst gemacht habe – und die dich im Nachhinein teuer zu stehen kommen.