Thứ Hai, 7 thg 9, 2026
Công nghệ Speculative Decoding hiện đã có thể chạy trên vLLM khi sử dụng GPU của AMD, giúp tăng tốc độ suy luận cho các mô hình ngôn ngữ lớn.