Models17.09.2026 · 18:521 nguồn

DeepSeek V4.1 Flash cắt giảm 50% tính toán prefill trong chuyển đổi từ Transformer tiêu chuẩn

Từ huggingnews.com

Ảnh: huggingnews.com
AI;DR

DeepSeek-V4.1-Flash sử dụng kiến trúc Causal Encoder-Decoder, kích hoạt 8B tham số cho mỗi token prefill so với 16B cho mỗi token decode. Nền tảng 40 lớp được chia thành encoder causal 20 lớp để xử lý prompt và decoder 20 lớp để sinh token, giảm khoảng 50% chi phí tính toán cho đầu vào dài. Hệ thống chia sẻ bộ nhớ CSA2 giảm KV cache, trong khi tối ưu kernel mHC giảm overhead truyền thông giữa SM và HBM.

Kiến trúc tích hợp FP4 global KV để giảm cache xuống 890 byte mỗi token và huấn luyện mô hình chấp nhận sai lệch xấp xỉ chỉ bằng 128 đầu ra encoder cuối cùng. Tăng cường reasoning effort từ 25 lên 100 đã nâng Pass@1 trung bình trên tám benchmark từ 67.1% lên 76.3% và tăng độ dài output 2.5 lần. Những lựa chọn thiết kế này căn chỉnh cấu trúc mô hình và giới hạn retrieval với các ràng buộc của các agent dài chạy được triển khai.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#deepseek#llm#inference#transformer#reasoning#benchmark#v41#flashBản Markdown
Lịch sử nội dung (2)
  • 2026-10-15 · Tóm tắt · vi · Thay nội dung đã lưu
    DeepSeek-V4.1-Flash sử dụng thiết kế Causal Encoder-Decoder kích hoạt 8 tỷ tham số cho mỗ…
    DeepSeek-V4.1-Flash sử dụng kiến trúc Causal Encoder-Decoder, kích hoạt 8B tham số cho mỗ…
  • 2026-10-15 · Tiêu đề · vi · Thay nội dung đã lưu
    DeepSeek V4.1 Flash giảm 50% tính toán prefill trong chuyển đổi từ Transformer tiêu chuẩn
    DeepSeek V4.1 Flash cắt giảm 50% tính toán prefill trong chuyển đổi từ Transformer tiêu c…

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay