Releases01.09.2026 · 18:472 nguồn

Tencent phát hành mô hình AI Hy4 mã nguồn mở với 770 tỷ tham số và context window 1 triệu token

Từ huggingnews.com

Ảnh: huggingnews.com
AI;DR

Đội ngũ Hunyuan của Tencent vừa ra mắt bản xem trước của mô hình AI Hy4 dưới dạng open-weight, sử dụng kiến trúc Mixture-of-Experts. Mô hình này sở hữu tổng cộng 770 tỷ tham số, trong đó có 49 tỷ tham số hoạt động trên mỗi token và hỗ trợ context window lên tới 1 triệu token. Trong quá trình nghiên cứu, hệ thống đã tự nhận diện các điểm nghẽn khi inference, từ đó tối ưu hóa việc truyền thông và operator fusion để tăng hiệu suất end-to-end thêm 31,8%.

Được thiết kế chuyên dụng cho lập trình và nâng cao năng suất, Hy4 sử dụng 256 routed experts, tiếp nối xu hướng phát hành mã nguồn mở của các nhà phát triển Trung Quốc như DeepSeek, Qwen và Kimi. Tencent đã đưa các trọng số mô hình lên HuggingFace và Github để các nhà phát triển cũng như nghiên cứu viên có thể dễ dàng xây dựng ứng dụng dựa trên kiến trúc này.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 1 nguồn khác
  1. SUPPORT@sudeepsriv“activates only around 49B for each token”x.com

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay