Humansand công cụ mã nguồn mở tăng tốc cập nhật trọng lượng RL quy mô lớn

Humansand phát triển phương pháp mới giúp giảm thời gian tạm dừng sampler cho reinforcement learning RL xuống dưới 0,23 giây. Phần mềm này gọi là "weight teleportation" dùng GPUs để nén song song các cập nhật trọng lượng model và tích hợp với kiến trúc chip Blackwell của Nvidia, cho phép truyền các cập nhật này giữa các cluster với tốc độ internet. Hệ thống xử lý nén và chuẩn bị không chặn trong khoảng 3 giây, giải quyết nút thắt kỹ thuật trước đây yêu cầu các thành phần huấn luyện và sampling phải nằm trong cùng một data center để quản lý khối lượng dữ liệu lớn. Humansand đã phát hành công nghệ này dưới dạng mã nguồn mở để hỗ trợ triển khai RL phi tập trung trên phần cứng phân tán.