Nguyên mẫu Xiaomi AI Cube chạy mô hình 120B cục bộ với băng thông 1,22TB/s

Xiaomi vừa trình làng AI Cube, một nguyên mẫu phần cứng suy luận cá nhân được thiết kế để chạy các LLM ngay tại chỗ. Hệ thống này tích hợp ba loại chip độc quyền gồm Xring O3, O100 và D100, cho phép triển khai đồng thời các mô hình có quy mô 120B và 3B tham số. Trong đó, bộ tăng tốc O100 sử dụng công nghệ wafer-on-wafer NPU-DRAM 6nm để đạt băng thông gần bộ nhớ lên tới 1,22TB/s. Chip xử lý D100, vốn được thiết kế cho lái xe thông minh, hỗ trợ 160GB bộ nhớ và có khả năng chạy cục bộ các mô hình lên đến 200B tham số.

Nguyên mẫu này duy trì mức tiêu thụ điện liên tục 150W và tích hợp SoC cao cấp Xring O3 được TSMC sản xuất trên tiến trình 3nm. Dù chip O3 vốn được nhắm tới cho các dòng điện thoại gập flagship tiếp theo của Xiaomi, việc đưa nó vào AI Cube cho thấy hãng đang lấn sân sang mảng máy tính để bàn…