Tencent phát hành mô hình AI Hy4 mã nguồn mở với 770 tỷ tham số và context window 1 triệu token

Đội ngũ Hunyuan của Tencent vừa ra mắt bản xem trước của mô hình AI Hy4 dưới dạng open-weight, sử dụng kiến trúc Mixture-of-Experts. Mô hình này sở hữu tổng cộng 770 tỷ tham số, trong đó có 49 tỷ tham số hoạt động trên mỗi token và hỗ trợ context window lên tới 1 triệu token. Trong quá trình nghiên cứu, hệ thống đã tự nhận diện các điểm nghẽn khi inference, từ đó tối ưu hóa việc truyền thông và operator fusion để tăng hiệu suất end-to-end thêm 31,8%.

Được thiết kế chuyên dụng cho lập trình và nâng cao năng suất, Hy4 sử dụng 256 routed experts, tiếp nối xu hướng phát hành mã nguồn mở của các nhà phát triển Trung Quốc như DeepSeek, Qwen và Kimi. Tencent đã đưa các trọng số mô hình lên HuggingFace và Github để các nhà phát triển cũng như nghiên cứu viên có thể dễ dàng xây dựng ứng dụng dựa trên kiến trúc này.