Infra15.09.2026 · 07:062 nguồn

Google Cloud và Inferact tích hợp TPU vào dự án nguồn mở vLLM

Từ marketbrief.now

Ảnh: marketbrief.now
AI;DR

Sự hợp tác mới giữa Google Cloud và Inferact đưa hai nhóm lên cùng một lộ trình kỹ thuật chung để biến Tensor Processing Units thành "công dân hạng nhất" trong hệ sinh thái vLLM. Kết nối tối ưu hóa vLLM như một engine phục vụ sản xuất agentic cho TPU, cung cấp kernel nguồn mở upstream và đường dẫn PyTorch gốc thông qua TorchTPU. Toàn bộ kết quả của sự hợp tác đều là nguồn mở để hỗ trợ ngày 0 cho các bản phát hành frontier model. Một chương trình cộng đồng cung cấp dung lượng TPU chia sẻ cho các nhà đóng góp nguồn mở cùng với sự hỗ trợ thiết kế chuyên dụng từ các nhà bảo trì lõi vLLM tại Inferact. Nỗ lực này nhằm làm cho TPU trở thành lựa chọn chính cho suy diễn AI nguồn mở, mở rộng các lựa chọn phần cứng cho các nhà phát triển trong hệ sinh thái mô hình rộng lớn.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#cloud#inference#tpu#vllm#open-source#googleBản Markdown
Lịch sử nội dung (1)
  • 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưu
    Hợp tác mới giữa Google Cloud và Inferact đưa hai nhóm lên cùng một roadmap kỹ thuật để b…
    Sự hợp tác mới giữa Google Cloud và Inferact đưa hai nhóm lên cùng một lộ trình kỹ thuật …

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay