Infra19.08.2026 · 06:502 nguồn

DFlash 2 đạt 70 token/s trên M5 Max MacBook Pro với tốc độ tăng 4,6x

Từ huggingnews.com

AI;DR

Inco AI và Z Lab ra mắt engine suy luận mới để tăng tốc thực thi các mô hình ngôn ngữ lớn trên phần cứng Apple. DFlash 2 cho phép mô hình Qwen3.8-27B chạy ở tốc độ 70 token mỗi giây trên MacBook Pro M5 Max, tăng tốc 4,6x so với giải mã tự động mà không thay đổi đầu ra. Công cụ tăng hiệu suất bằng cách chấp nhận thêm một token trong mỗi lần chạy.

Tốc độ suy luận cục bản của mô hình 27 tỷ tham số giờ đây vượt trội so với Fable và Sol. Giải mã dự đoán đã trở thành bước đột phá chính cho hiệu suất AI cục bản trong năm nay, với các mục tiêu tối ưu hóa tiếp theo bao gồm prefill và nén trọng số.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 1 nguồn khác
  1. SUPPORT@jun_song“faster than Fable or Sol”x.com
#qwen#inference#apple#hardwareBản Markdown
Lịch sử nội dung (2)
  • 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưu
    Inco AI và Z Lab vừa ra mắt engine suy luận mới giúp tăng tốc chạy các LLM trên phần cứng…
    Inco AI và Z Lab ra mắt engine suy luận mới để tăng tốc thực thi các mô hình ngôn ngữ lớn…
  • 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưu
    DFlash 2 đạt tốc độ 70 Tok/s trên MacBook Pro M5 Max, nhanh hơn gấp 4,6 lần
    DFlash 2 đạt 70 token/s trên M5 Max MacBook Pro với tốc độ tăng 4,6x

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay