Năm cách NVIDIA đồng thiết kế tối đa hoá giá trị của từng byte trong nhà máy AI

Trong một nhà máy AI, bộ nhớ cao tốc (HBM) là tầng bộ nhớ nhanh nhất, đắt nhất và tranh chấp khốc liệt nhất. Mỗi byte dùng cho bản sao trọng số dư thừa, bộ nhớ cache KV của một phiên không hoạt động, hay là tiền tố cần tính lại, chính là byte không dùng để sinh token. Câu hỏi không còn là GPU có bao nhiêu bộ nhớ, mà là mỗi byte mang lại bao nhiêu công việc hữu ích. Dữ liệu thế hệ trong Figure 1 dưới đây cho thấy lý do. Từ GB300 đến NVIDIA Rubin, dung lượng giữ ở 288 GB trong khi băng thông tăng lên 19,2 TB/s. Thông lượng agentic trên mỗi megawatt tăng nhanh hơn nhiều. Trên SemiAnalysis AgentX, nơi tái phát lại các phiên coding-agent đã ghi âm với khoảng thời gian gọi công cụ thực tế và ngữ cảnh đang tăng, NVIDIA Vera Rubin NVL72 sau đó giao nạp lên đến 30x so với GB300 NVL72 ở 160 token/giây/người dùng. Dung lượng đơn thuần không thể giải thích được mức tăng 30x từ cùng 288 GB trên mỗi GPU. Sự khác biệt nằm ở mức độ công việc hữu ích mà mỗi byte mang lại. NVIDIA coi đây là một bài toán đồng thiết kế lan tỏa từ kiến trúc GPU, kết nối tăng tốc, phần mềm phục vụ, CPU cho đến lưu trữ. Bài viết này đi sâu vào năm cách mà sự đồng thiết kế này tối đa hoá giá trị của từng byte bộ nhớ, từ những con số mã hoá một trọng số duy nhất cho đến bộ nhớ lưu trữ chung lưu giữ và tái sử dụng ngữ cảnh xuyên qua các lượt agentic và các nút mạng.