Calculadoras

Calculadora de VRAM para LLM

Calcule cuánta memoria de GPU necesita un modelo de lenguaje para pesos, caché KV y activaciones, y qué GPUs pueden alojarlo.

Empezar con un modelo conocido
70B
1
80
8
128

La caché KV se calcula en FP16: 2 × capas × cabezas KV × dim. de cabeza × contexto × lote. Las activaciones y el sobrecoste del framework se estiman en un 15% de los pesos.

Preguntas frecuentes

Todo sobre el alquiler de GPU en la nube, el seguimiento de afiliados y cómo recopilamos los precios.

¿Qué precisión tiene el estimador de costes?

Multiplica la tarifa por hora recogida por tus horas de uso previstas y añade almacenamiento y salida con los supuestos indicados. Es una herramienta de presupuesto, no un presupuesto real: las facturas incluyen impuestos, tiempo inactivo e incrementos mínimos de facturación.

¿Cómo funciona la calculadora de VRAM para LLM?

Calcula la memoria de pesos a partir del número de parámetros y la precisión, la caché KV a partir de la geometría de atención (2 x capas x cabezas KV x dimensión de cabeza x contexto x lote, en FP16) y añade un 15 por ciento de los pesos por activaciones y sobrecarga del framework.