Calculadoras

Calculadora de VRAM para LLM

Descubra quanta memória de GPU um modelo precisa para pesos, cache KV e ativações — e veja quais GPUs conseguem hospedá-lo.

Comece a partir de um modelo conhecido
70B
1
80
8
128

O cache KV é calculado em FP16: 2 × camadas × cabeças KV × dim. da cabeça × contexto × lote. Ativações e overhead do framework são estimados em 15% dos pesos.

Perguntas frequentes

Como funciona a precificação, como a coletamos e como este site é financiado.

Qual a precisão do estimador de custo de GPU?

Ele multiplica o preço por hora coletado pelas horas planejadas e adiciona armazenamento e saída de dados usando as premissas declaradas. É uma ferramenta de orçamento, não um orçamento formal: faturas incluem impostos, tempo ocioso e intervalos mínimos de cobrança.

Como funciona a calculadora de VRAM para LLM?

Ela calcula a memória dos pesos a partir da contagem de parâmetros e precisão, o cache KV a partir da geometria de atenção, e adiciona cerca de 15% dos pesos para ativações e overhead do framework.