Guías
Cómo elegir una GPU en la nube para ajuste fino de LLM
Empieza por la memoria, no por los FLOPS
Ajustar un modelo de lenguaje es un problema de memoria antes que de cómputo. Los pesos, los gradientes y el estado del optimizador deben caber, y el estado del optimizador suele ser el mayor de los tres. Antes de comparar precios por hora, calcula si tu modelo cabe en un solo dispositivo de 80 GB o si necesitas paralelismo tensorial.
LoRA cambia la economía
Los métodos eficientes en parámetros, como LoRA y QLoRA, congelan los pesos base y entrenan un adaptador pequeño, lo que elimina buena parte del estado del optimizador. Ese solo cambio suele llevar un trabajo de un nodo H100 multi-GPU a una única instancia A100 o L40S.
Comparar proveedores con criterio
Los precios por hora solo son comparables si se normalizan a una sola GPU y al mismo nivel de interrupción. La capacidad de mercado es más barata pero puede recuperarse; la nube dedicada cuesta más y se comporta de forma predecible.
Vigila el almacenamiento y la salida
Los conjuntos de datos y los checkpoints se facturan aparte de las horas de GPU, y los cargos de salida se acumulan rápido. Presupuesta estos conceptos de forma explícita.