Ratgeber
Wie Sie eine Cloud-GPU für LLM-Fine-Tuning auswählen
Erst das Speicherbudget, dann die FLOPS
Fine-Tuning eines Sprachmodells ist zuerst ein Speicherproblem und erst dann ein Rechenproblem. Gewichte, Gradienten und Optimizer-Zustand müssen hineinpassen, wobei der Optimizer-Zustand meist der größte Posten ist. Klären Sie vor dem Preisvergleich, ob Ihr Modell auf ein einzelnes 80-GB-Gerät passt oder Tensor-Parallelismus braucht.
LoRA verändert die Rechnung
Parametereffiziente Verfahren wie LoRA und QLoRA frieren die Basisgewichte ein und trainieren nur einen kleinen Adapter. Dadurch entfällt der größte Teil des Optimizer-Zustands, und ein Job passt oft auf eine einzelne A100- oder L40S-Instanz statt auf einen Multi-GPU-H100-Knoten.
Anbieter fair vergleichen
Stundenpreise sind erst vergleichbar, wenn sie auf eine einzelne GPU und dieselbe Unterbrechbarkeitsstufe normalisiert sind. Marktplatz-Kapazität ist günstiger, kann aber zurückgeholt werden; dedizierte Cloud kostet mehr und verhält sich planbar.
Speicher und Egress beachten
Datensätze und Checkpoints werden zusätzlich zu den GPU-Stunden berechnet, und Egress-Kosten summieren sich schnell. Planen Sie diese Posten ausdrücklich ein.