Infra26.08.2026 · 06:482 nguồn
Nvidia rút ngắn thời gian phục hồi LLM 39 lần còn 7,3 giây với bản xem trước Dynamo
Từ huggingnews.com
Công cụ mới cho NVIDIA Dynamo, engine phục hồi bóng đêm (shadow engine recovery), duy trì một engine dự phòng đã được làm nóng để thay thế các thể hiện mô hình ngôn ngữ lớn (LLM) gặp sự cố. Trong thử nghiệm với mô hình GLM-5.2, hệ thống đã khôi phục công suất trong 7,3 giây, nhanh hơn gần 39 lần so với khởi động lạnh. Phần mềm này nhằm loại bỏ những phút mất công suất thường thấy khi engine suy luận gặp sự cố trong môi trường sản xuất.
Tính năng xem trước được thiết kế cho Kubernetes và được benchmark trên các nút B200. Bằng cách duy trì một engine dự phòng ở trạng thái sẵn sàng, Dynamo cho phép các khối công việc suy luận chuyển tiếp mà không cần chờ đợi khởi động lại toàn bộ hệ thống.
Nguồn
+ 1 nguồn khác
- SUPPORT@msharmavikram“lets the engine restart up to 39x faster in k8s by using a warmed-up engine.”x.com
Lịch sử nội dung (2)
- 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưuCông cụ mới Shadow engine dành cho NVIDIA Dynamo giúp duy trì một engine ở trạng thái sta…Công cụ mới cho NVIDIA Dynamo, engine phục hồi bóng đêm (shadow engine recovery), duy trì…
- 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưuNvidia rút ngắn thời gian phục hồi LLM xuống 39 lần, chỉ còn 7,3 giây nhờ bản preview Dyn…Nvidia rút ngắn thời gian phục hồi LLM 39 lần còn 7,3 giây với bản xem trước Dynamo
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay