เครื่องคำนวณ VRAM สำหรับ LLM

เครื่องมือนี้นำราคาต่อชั่วโมงที่รวบรวมมา คูณกับจำนวนชั่วโมงที่คุณวางแผนใช้งาน แล้วเพิ่มค่าใช้จ่ายสำหรับพื้นที่จัดเก็บและข้อมูลขาออก ตามสมมติฐานที่ระบุไว้ นี่เป็นเครื่องมือช่วยวางแผนงบประมาณ ไม่ใช่ใบเสนอราคาอย่างเป็นทางการ: ใบแจ้งหนี้จริงจะรวมภาษี เวลาว่าง และช่วงเวลาการเรียกเก็บเงินขั้นต่ำ

เครื่องมือคำนวณหน่วยความจำน้ำหนัก (weight memory) จากจำนวนพารามิเตอร์และความแม่นยำ (precision) คำนวณ KV cache จากเรขาคณิตของ attention และเพิ่มประมาณ 15% ของน้ำหนักสำหรับ activations และ overhead ของ framework