Calcolatori

Calcolatore VRAM per LLM

Calcola quanta memoria GPU serve a un modello per pesi, cache KV e attivazioni — poi scopri quali GPU possono effettivamente ospitarlo.

Parti da un modello noto
70B
1
80
8
128

La cache KV viene calcolata in FP16: 2 × livelli × teste KV × dim. testa × contesto × batch. Attivazioni e overhead del framework sono stimati al 15% dei pesi.

Domande frequenti

Come funzionano i prezzi, come li raccogliamo e come è finanziato questo sito.

Quanto è preciso lo stimatore dei costi GPU?

Moltiplica il prezzo orario raccolto per le ore pianificate e aggiunge storage e trasferimento dati in base alle ipotesi dichiarate. È uno strumento di budget, non un preventivo: le fatture includono tasse, tempi di inattività e intervalli di fatturazione minimi.

Come funziona il calcolatore VRAM per LLM?

Calcola la memoria dei pesi in base al numero di parametri e alla precisione, la cache KV dalla geometria dell'attenzione, e aggiunge circa il 15% dei pesi per attivazioni e overhead del framework.