الحاسبات

حاسبة VRAM للنماذج اللغوية الكبيرة

احسب مقدار ذاكرة GPU الذي يحتاجه النموذج للأوزان، ذاكرة KV المؤقتة، والتفعيلات — ثم تعرف على وحدات GPU القادرة على استضافته فعليًا.

ابدأ من نموذج معروف
70B
1
80
8
128

يتم حساب ذاكرة KV المؤقتة (KV cache) بدقة FP16: 2 × الطبقات × رؤوس KV × بُعد الرأس × السياق × الدفعة. تُقدَّر التنشيطات وتكلفة إطار العمل بنسبة 15% من الأوزان.