試算工具

LLM 顯存計算器

計算模型所需的 GPU 記憶體（權重、KV 快取與激活值），再看哪些 GPU 能真正載入該模型。

從已知模型開始
70B
1
80
8
128

KV 快取以 FP16 計算：2 × 層數 × KV 頭數 × 頭維度 × 上下文長度 × 批次大小。啟動值與框架額外開銷估算為權重的 15%。