Calculateurs

Calculateur VRAM pour LLM

Déterminez la mémoire GPU nécessaire pour les poids, le cache KV et les activations d'un modèle — puis voyez quels GPU peuvent réellement l'héberger.

Partir d'un modèle connu
70B
1
80
8
128

Le cache KV est calculé en FP16 : 2 × couches × têtes KV × dimension de tête × contexte × lot. Les activations et la surcharge du framework sont estimées à 15 % des poids.

Questions fréquentes

Comment fonctionne la tarification, comment nous la collectons et comment ce site est financé.

Quelle est la précision de l'estimateur de coût GPU ?

Il multiplie le prix horaire collecté par vos heures prévues et ajoute le stockage et le transfert de données selon les hypothèses indiquées. C'est un outil budgétaire, pas un devis : les factures incluent les taxes, les temps d'inactivité et les intervalles de facturation minimaux.

Comment fonctionne le calculateur de VRAM pour LLM ?

Il calcule la mémoire des poids à partir du nombre de paramètres et de la précision, le cache KV à partir de la géométrie de l'attention, et ajoute environ 15 % des poids pour les activations et les frais généraux du framework.