Máy tính

Bộ tính VRAM cho LLM

Xác định lượng bộ nhớ GPU mà mô hình cần cho trọng số, bộ nhớ đệm KV và kích hoạt — sau đó xem GPU nào thực sự có thể chạy mô hình đó.

Bắt đầu từ một mô hình đã biết
70B
1
80
8
128

KV cache được tính bằng FP16: 2 × số lớp × số head KV × kích thước head × ngữ cảnh × batch. Phần kích hoạt và chi phí framework ước lượng ở mức 15% trọng số.

Các câu hỏi thường gặp

Cách thức định giá hoạt động, cách chúng tôi thu thập dữ liệu và cách trang web này được tài trợ.

Công cụ ước tính chi phí GPU chính xác đến mức nào?

Công cụ nhân giá theo giờ đã thu thập với số giờ bạn dự định sử dụng, đồng thời cộng thêm chi phí lưu trữ và lưu lượng truyền dữ liệu ra ngoài (egress) dựa trên các giả định đã nêu. Đây là công cụ ước tính ngân sách chứ không phải báo giá: hóa đơn thực tế còn bao gồm thuế, thời gian nhàn rỗi và thời lượng tính phí tối thiểu.

Máy tính VRAM cho LLM hoạt động như thế nào?

Công cụ tính dung lượng bộ nhớ trọng số từ số lượng tham số và độ chính xác (precision), tính bộ nhớ đệm KV dựa trên cấu trúc attention, rồi cộng thêm khoảng 15% dung lượng trọng số cho phần kích hoạt (activations) và chi phí phát sinh của framework.