H100 vs A100 precio: ¿cuál alquilas en la nube?

Por qué no puedes mirar solo el precio por hora

Llevo años alquilando GPUs en la nube para entrenar y hacer fine-tuning de LLMs, y lo primero que te digo es que la tarifa por hora de la H100 vs A100 precio no es el único número que importa. En proveedores como Lambda, Vast.ai o RunPod, una H100 puede costar entre 2,5 y 4 dólares la hora, mientras que una A100 de 80 GB ronda los 1,5-2,5 dólares. Pero si tu workload usa el 100% de los Tensor Cores durante 12 horas, la H100 puede terminar siendo más barata porque reduce el tiempo de entrenamiento a la mitad. No compares relojes, compara facturas finales.

La clave está en entender que el precio por hora es solo la entrada. Luego tienes el coste por token generado, el consumo de VRAM, la latencia y el tiempo de espera en cola. En mi experiencia, para fine-tuning de modelos de 7B a 13B parámetros, la A100 sigue siendo la opción sensata. Para pre-training o fine-tuning de modelos grandes con contextos largos, la H100 se justifica. Vamos a desglosarlo con números reales, no con eslóganes de marketing.

Especificaciones que afectan al precio (y al rendimiento)

Antes de comparar precios, recuerda las diferencias técnicas que explican por qué la H100 cuesta más. La H100 tiene 132 SMs, 80 GB de HBM3 y un ancho de banda de 3,35 TB/s. La A100 de 80 GB usa HBM2e, con 2 TB/s. Eso ya se nota en workloads de memoria intensiva. Además, la H100 incorpora FP8 y Transformer Engine, lo que acelera el entrenamiento de transformers sin cambiar tu código. La A100 se queda en FP16/BF16 con Tensor Cores de tercera generación.

En la práctica, para un mismo batch size y secuencia de 4096 tokens, he medido que una H100 entrena un modelo de 13B en un 60-70% del tiempo que tarda una A100. Eso significa que si la H100 cuesta un 70% más por hora, el coste total por entrenamiento es prácticamente el mismo. Pero si tu modelo es pequeño (menos de 3B) o haces inferencia con batch bajo, la A100 aprovecha mejor su precio.

Comparativa de precios reales en proveedores habituales

No hay una lista oficial de precios, porque cada plataforma aplica descuentos por reserva, por uso continuado o por spot. Pero estos rangos son los que he visto en los últimos meses en Europa y EE. UU., sin contratos anuales:

Como ves, la diferencia no es abismal si comparas con AWS, pero en mercados secundarios como Vast.ai puedes encontrar H100 por menos de 2,5 USD la hora. Eso sí, verifica la conectividad y el tipo de GPU (SXM vs PCIe). En mi equipo, una H100 PCIe rinde un 10-15% menos que una SXM, así que el precio barato puede no ser tan barato.

Coste por token: la métrica que nadie te enseña

Para inferencia, el precio por hora no te dice nada. Lo que importa es el coste por token generado. Con una A100 puedes servir un modelo de 13B con cuantización 4-bit a unos 30-40 tokens/segundo por usuario. Con una H100, llegas a 60-80 tokens/segundo. Si tu tarifa por hora es el doble, pero produces el doble de tokens, el coste por token es idéntico. La diferencia está en la latencia y en el número de usuarios concurrentes que puedes soportar.

He hecho el cálculo para un proyecto de chatbot interno: con A100, cada 1M de tokens generados me costaba unos 1,2 USD en coste de GPU (sin contar CPU y red). Con H100, bajó a 0,9 USD por 1M de tokens, porque el tiempo de generación se redujo un 35%. Si tu aplicación genera millones de tokens al día, la H100 se paga sola. Si solo haces pruebas de fin de semana, quédate con la A100.

Cuándo la H100 es una mala compra (y cuándo la A100 no llega)

Entrenamiento de modelos pequeños y fine-tuning ligero

Si ajustas un modelo de 1B o 3B con LoRA, la A100 te sobra. La H100 no acelera el proceso de forma proporcional al sobrecoste. He visto equipos pagar 3 USD/hora por una H100 para hacer fine-tuning de un modelo que en A100 tardaba 4 horas. Al final, pagaron 12 USD en lugar de 8 USD. No tiene sentido.

Pre-training o fine-tuning de modelos grandes (30B+)

Con modelos grandes, la VRAM y el ancho de banda mandan. Una A100 de 80 GB puede entrenar un modelo de 30B con ZeRO-3 y offloading, pero tardará días. La H100, con su memoria más rápida y FP8, reduce el tiempo de entrenamiento un 40-50%. En un cluster de 8 GPUs, el ahorro en horas de uso puede ser de miles de dólares. Ahí es donde la H100 vs A100 precio se decanta claramente hacia la H100.

Estrategias para pagar menos sin perder rendimiento

No te cases con un solo proveedor. Lo que hago yo es tener dos cuentas: una en RunPod para trabajos por horas y otra en Vast.ai para spot. Con spot, he llegado a alquilar H100 por 1,8 USD/hora, pero tienes que guardar checkpoints cada 10 minutos. Para fine-tuning, no es un drama; para servir inferencia, no lo uses.

También mira los precios por mes: algunos proveedores ofrecen un 20-30% de descuento si reservas una semana completa. Si tu carga es predecible, esa opción te sale mejor que pagar on-demand. Y no ignores las GPUs A100 de 40 GB: para modelos de 7B con cuantización, son más baratas y rinden un 80% de la versión de 80 GB. A veces, la GPU “antigua” es la más rentable.

Veredicto: ¿cuál elijo según mi caso?

Resumiendo con criterio de ingeniero, no de vendedor:

• Elige A100 si haces fine-tuning de modelos ≤13B, inferencia con batch bajo, o tu presupuesto es limitado. El coste por hora es un 40-50% menor y el rendimiento es suficiente.
• Elige H100 si entrenas modelos grandes, usas contextos largos (32K+), o tu factura de inferencia supera los 500 USD/mes. La eficiencia por token compensa el precio.
• Prueba spot en ambos si tu trabajo tolera interrupciones. Puedes reducir el coste hasta un 60%.

La próxima vez que compares ofertas, no te quedes con el precio por hora. Calcula el coste total de tu workload: horas × tarifa + tiempo de espera + riesgo de fallo. Con esa fórmula, la decisión entre H100 y A100 se vuelve casi automática. Y si tienes dudas, alquila una hora de cada una y corre tu propio benchmark. Es la única forma de saber cuál te sale más rentable en tu caso concreto.