Khi một GPU không đủ: phục vụ GLM-5.3 trên hai NVIDIA DGX Stations bằng vLLM

Chạy một model frontier quy mô lớn tại chỗ đòi hỏi giữ tất cả weights trong bộ nhớ GPU vì các model lớn không còn vừa trên một máy. Hai NVIDIA DGX Stations kết nối qua ConnectX-8 RDMA phục vụ một model qua một endpoint duy nhất, với tensor parallelism chia weights và tính toán model trên cả hai GPU. Model NVIDIA GLM-5.3 NVFP4, phiên bản quantized của model MoE của Z.ai, có 753 tỷ parameters, với 40 tỷ được kích hoạt mỗi token. Kích hoạt thưa giảm tính toán, nhưng tất cả weights model vẫn cần sẵn vì mỗi token có thể được định tuyến đến các expert khác nhau. Với khoảng 464 GB, checkpoint vượt quá 252 GB HBM3e trên một GPU GB300 đơn lẻ. Hướng dẫn này dùng hai DGX Stations để giữ weights trong bộ nhớ GPU, với CPU weight offload bị vô hiệu hóa. Trước khi bắt đầu, kết nối hai Stations bằng playbook Connect Two DGX Stations. Bài viết này chỉ cách phục vụ GLM-5.3 tại chỗ trên hai NVIDIA DGX Stations bằng vLLM, gửi request và đo hành vi dưới tải đồng thời. Tensor parallelism (TP=2) chia tensors của model trên hai GPU GB300. Cả hai Stations tính toán mọi request, và Station A trả lời qua một API OpenAI-compatible. Cuối cùng, người dùng sẽ có một endpoint hoạt động và cơ sở để đánh giá hành vi dưới tải.