试算工具

LLM 显存计算器

计算模型所需的 GPU 内存（权重、KV 缓存与激活值），再看哪些 GPU 能真正加载该模型。

从已知模型开始
70B
1
80
8
128

KV 缓存以 FP16 计算：2 × 层数 × KV 头数 × 头维度 × 上下文长度 × 批量大小。启动值与框架额外开销估算为权重的 15%。