Guías
GPU para ajuste fino de LLM: guía práctica
Si estás leyendo esto, probablemente ya has intentado hacer ajuste fino de LLM y te has topado con la realidad: la GPU importa, y mucho. No es lo mismo fine-tunear un modelo de 7B que uno de 70B, y elegir mal la tarjeta te puede costar horas de espera o una factura de la nube que duele. Llevo años alquilando GPUs por horas y he probado de todo, desde una RTX 4090 hasta clústeres con ocho H100. En esta guía te cuento qué necesitas según tu caso, sin humo.
Requisitos de GPU para ajuste fino de LLM: la VRAM manda
El primer filtro siempre es la memoria. Para fine-tunear un modelo necesitas cargar los pesos, el optimizador, los gradientes y el batch. Con LoRA o QLoRA reduces bastante, pero la regla general es: para un modelo de 7B con LoRA necesitas al menos 16 GB de VRAM; para full fine-tuning, 24 GB es lo mínimo realista. Con un modelo de 13B, sube a 24 GB con LoRA y 40+ GB para full. Los de 70B ya piden 80 GB por GPU si usas LoRA, y más de 100 GB para full, algo que solo encuentras en H100 o A100 de 80 GB.
¿Y si no tengo suficiente VRAM?
Puedes usar QLoRA con cuantización de 4 bits, que reduce la huella de memoria hasta un 70%. Pero ojo: la calidad del ajuste baja un poco y el entrenamiento es más lento porque hay que de/cuantizar constantemente. Si tu presupuesto es ajustado, es una opción viable, pero no esperes los mismos resultados que con full fine-tuning.
Mejor GPU para ajuste fino de LLM según tu caso
No existe una respuesta única, pero puedo darte una comparativa de GPU para ajuste fino de LLM basada en lo que uso y veo en producción:
| GPU | VRAM | Ideal para | Coste relativo |
|---|---|---|---|
| RTX 4090 | 24 GB | Modelos 7B-13B con LoRA | Bajo |
| A100 40/80 GB | 40-80 GB | Modelos 13B-30B full fine-tuning | Medio-alto |
| H100 80 GB | 80 GB | Modelos 70B con LoRA, o multi-GPU | Alto |
| AMD MI210/MI250 | 64-128 GB | Modelos grandes si usas ROCm | Medio |
Si solo quieres experimentar con un modelo de 7B, la 4090 en la nube es la gpu económica para ajuste fino de llm que suelo recomendar. Cuesta una fracción de una H100 y para LoRA va sobrada. Eso sí, si tu objetivo es un modelo de 30B o más, no te la compres: necesitas más VRAM o varias GPUs.
Ajuste fino de LLM con una GPU: límites y trucos
Hacer ajuste fino de LLM con una GPU es posible, pero tienes que ser realista. Con una sola RTX 4090 puedes fine-tunear un Llama-3-8B con LoRA sin problema, en unas 2-4 horas con un dataset de 10k ejemplos. Si usas full fine-tuning, el tiempo sube a 8-12 horas y necesitas gestionar el batch con gradient accumulation.
Mi consejo: si tu modelo cabe en una GPU, hazlo en una sola. La sincronización entre varias tarjetas introduce overhead y complica la depuración. Además, alquilar una GPU potente por horas suele ser más barato que alquilar dos más flojas durante el doble de tiempo.
¿Cuándo necesitas más de una GPU?
Cuando el modelo no cabe ni con LoRA, o cuando el tiempo de entrenamiento es inaceptable. Para un 70B con LoRA, por ejemplo, una H100 con 80 GB es justa, pero con un batch pequeño. Si quieres ir rápido, mejor usar 4 u 8 GPUs con sharding (DeepSpeed Zero-2/3 o FSDP).
Ajuste fino de LLM con múltiples GPU: cómo escalar
El ajuste fino de LLM con múltiples GPU no es simplemente conectar más tarjetas. Tienes que decidir entre data parallelism, model parallelism o una mezcla. Para la mayoría de casos, DeepSpeed Zero-3 o FSDP son la opción estándar: reparten pesos, gradientes y optimizador entre GPUs.
Mi experiencia: con 4×A100 de 80 GB puedo fine-tunear un Llama-2-70B con LoRA en unas 6 horas, mientras que con una sola H100 tardaría más de 20. La clave está en el ancho de banda entre GPUs (NVLink o InfiniBand). Si alquilas GPUs en la nube, asegúrate de que el proveedor ofrezca nodos con interconexión rápida; si no, el escalado se degrada.
Ajuste fino de LLM en GPU AMD: ¿es viable?
Cuando hablo con colegas, siempre hay alguno que pregunta por AMD. El ajuste fino de LLM en GPU AMD es viable gracias a ROCm, que ha mejorado mucho. Las MI210 y MI250 tienen mucha VRAM por poco precio comparado con NVIDIA. El problema: la compatibilidad con frameworks como PyTorch y Transformers es menor, y tendrás que resolver más incidencias tú mismo.
Si eres de los que disfrutan configurando entornos, puede salirte rentable. Pero para producción, te recomiendo NVIDIA: la documentación, la integración con CUDA y el soporte de librerías como PEFT o bitsandbytes están mucho más maduros. En mi día a día, solo uso AMD para experimentos puntuales donde el precio de la VRAM es el factor dominante.
Ajuste fino de LLM en la nube: cómo no arruinarte
El ajuste fino de LLM en la nube tiene ventajas obvias: no compras hardware, escalas cuando quieres y pruebas diferentes GPUs. Pero si no controlas el gasto, la factura se dispara. Mi regla: usa GPUs reservadas (spot) si tu entrenamiento tolera interrupciones, y usa instancias on-demand solo para trabajos críticos. También te recomiendo que monitorees el uso con algo como Weights & Biases para no dejarte una GPU alquilada olvidada.
Otro consejo: para experimentos cortos de una hora, la 4090 en la nube es imbatible. Para entrenamientos largos de 24+ horas, compensa alquilar una H100 aunque el precio por hora sea mayor, porque terminarás antes y el coste total puede ser menor.
Conclusión: qué GPU elegir para ajuste fino de LLM
No te obsesiones con la GPU más cara. Piensa en el tamaño de tu modelo, la técnica de fine-tuning y el tiempo que tienes. Para la mayoría de casos prácticos, una RTX 4090 con 24 GB es suficiente para modelos de hasta 13B con LoRA. Si trabajas con 30B o más, vete a una A100 o H100. Y si tu presupuesto es muy ajustado, explora la opción AMD, pero asume que vas a invertir tiempo en configuración.
En resumen: la mejor GPU para ajuste fino de LLM es la que equilibra VRAM, velocidad y coste para tu caso concreto. No hay atajos, pero con esta guía ya tienes el mapa.