Калькуляторы

Калькулятор VRAM для LLM

Рассчитайте, сколько видеопамяти нужно модели для весов, KV-кэша и активаций — и узнайте, какие GPU смогут её разместить.

Начните с известной модели
70B
1
80
8
128

KV-кэш рассчитывается в FP16: 2 × layers × KV heads × head dim × context × batch. Активации и накладные расходы фреймворка оцениваются в 15% от весов.

Часто задаваемые вопросы

Как работает ценообразование, как мы собираем данные и как финансируется этот сайт.

Насколько точен калькулятор стоимости GPU?

Он умножает собранную почасовую цену на запланированные часы и добавляет стоимость хранения и исходящего трафика, используя указанные допущения. Это инструмент для планирования бюджета, а не коммерческое предложение: в счетах учитываются налоги, время простоя и минимальные интервалы выставления счетов.

Как работает калькулятор VRAM для LLM?

Он вычисляет память для весов на основе количества параметров и точности, KV-кэш — из геометрии внимания, и добавляет около 15% от весов на активации и накладные расходы фреймворка.