inference engine dựa trên Rust cho DeepSeek v4.1-Flash đạt 2060 TPS

Một công cụ inference engine tùy chỉnh dành cho model DeepSeek v4.1-flash hiện cho phép xử lý dữ liệu tốc độ cao mà không cần dùng các framework tiêu chuẩn của ngành. Engine này được xây dựng hoàn toàn bằng Rust và CUDA, loại bỏ sự phụ thuộc vào PyTorch và SGLang để giảm overhead, đạt tốc độ decode khoảng 2060 token mỗi giây trên 8 B300 GPUs. Dự án cũng ghi nhận việc prefill 1M token trong khoảng 12 giây và khoảng 1740 token mỗi giây trên 4 B300 GPUs. Mã nguồn có sẵn trên GitHub như một phần nỗ lực thúc đẩy mã nguồn mở và kiến trúc inference liên tục học, với các từ khóa giữ lại là DeepSeek, v4.1-Flash, TPS, v4.1-flash, CUDA, PyTorch, SGLang, B300, GPUs, GitHub, token, inference engine