Infra23.09.2026 · 19:402 nguồn
vLLM thêm DiffusionGemma-Jev để dễ triển khai AI trên Cloud
Từ marketbrief.now
Google cung cấp đường dẫn triển khai một lệnh cho mô hình DiffusionGemma-Jev trên Cloud Run, cho phép các nhà phát triển tạo endpoint tương thích API mà không cần cung cấp GPU riêng. Môi trường này cung cấp độ trễ đơn bước từ 35 đến 60 ms và thông lượng từ 100 đến 123 yêu cầu mỗi giây với kích thước lô 32. Mô hình được thiết kế để trả lời câu hỏi dạng có/không và trắc nghiệm bằng cách đọc phân phối xác suất trong một bước gỡ nhiễu duy nhất. Dự án vLLM đã công bố vào ngày 23 tháng 9 rằng engine hiện hỗ trợ DiffusionGemma-Jev, cho phép mô hình trả về điểm tin cậy bằng cách đọc từ các vị trí trả lời có nhiễu. Chi phí lưu trữ qua Google Cloud Run khoảng 3 USD mỗi giờ và giảm xuống 0 USD khi hệ thống không hoạt động.
Nguồn
Lịch sử nội dung (2)
- 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưuGoogle hiện cung cấp đường dẫn triển khai chỉ bằng một lệnh cho mô hình DiffusionGemma-Je…Google cung cấp đường dẫn triển khai một lệnh cho mô hình DiffusionGemma-Jev trên Cloud R…
- 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưuvLLM Hỗ trợ DiffusionGemma-Jev để Triển khai AI trên Cloud Dễ dàng hơnvLLM thêm DiffusionGemma-Jev để dễ triển khai AI trên Cloud
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay