Google phát hành TPU Sync

Google đã phát hành TPU Sync, một thư viện C++ mã nguồn mở dùng để di chuyển KV caches và weights qua TPU HBM, host DRAM, bộ nhớ lưu trữ và mạng. Google báo cáo độ trễ truyền KV thấp hơn hơn 90% trên các mô hình MoE từ 235B đến 480B.