Infra23.09.2026 · 19:402 nguồn

vLLM thêm DiffusionGemma-Jev để dễ triển khai AI trên Cloud

Từ marketbrief.now

Ảnh: marketbrief.now
AI;DR

Google cung cấp đường dẫn triển khai một lệnh cho mô hình DiffusionGemma-Jev trên Cloud Run, cho phép các nhà phát triển tạo endpoint tương thích API mà không cần cung cấp GPU riêng. Môi trường này cung cấp độ trễ đơn bước từ 35 đến 60 ms và thông lượng từ 100 đến 123 yêu cầu mỗi giây với kích thước lô 32. Mô hình được thiết kế để trả lời câu hỏi dạng có/không và trắc nghiệm bằng cách đọc phân phối xác suất trong một bước gỡ nhiễu duy nhất. Dự án vLLM đã công bố vào ngày 23 tháng 9 rằng engine hiện hỗ trợ DiffusionGemma-Jev, cho phép mô hình trả về điểm tin cậy bằng cách đọc từ các vị trí trả lời có nhiễu. Chi phí lưu trữ qua Google Cloud Run khoảng 3 USD mỗi giờ và giảm xuống 0 USD khi hệ thống không hoạt động.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#vllm#diffusiongemma-jev#cloud#cloud-run#api-deployment#deployment#apiBản Markdown
Lịch sử nội dung (2)
  • 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưu
    Google hiện cung cấp đường dẫn triển khai chỉ bằng một lệnh cho mô hình DiffusionGemma-Je…
    Google cung cấp đường dẫn triển khai một lệnh cho mô hình DiffusionGemma-Jev trên Cloud R…
  • 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưu
    vLLM Hỗ trợ DiffusionGemma-Jev để Triển khai AI trên Cloud Dễ dàng hơn
    vLLM thêm DiffusionGemma-Jev để dễ triển khai AI trên Cloud

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay