Baidu mở trọng số mô hình ERNIE 5.5 Flash Base 280B tham số

Baidu đã công bố trọng số thô của ERNIE-5.5-Flash-Base cho nghiên cứu công cộng, cho phép các nhà phát triển thực hiện domain adaptation và fine-tune. Mô hình MoE mở này có tổng cộng 280B tham số với 14B tham số kích hoạt cho mỗi token, được pre-trained trên 33,5T token. Mô hình hỗ trợ context window lên đến 1M token cho inference và fine-tuning, đồng thời có sẵn trên Hugging Face và ModelScope.

Mô hình đạt được tỷ lệ vượt qua 82,3% trên benchmark HumanEval+, vượt mức 69,5% của DeepSeek-V4-Flash-Base trong cùng điều kiện. Baidu cũng ra mắt plugin vLLM-ERNIE để triển khai trên phần cứng Nvidia GB200 và H100, trong khi các framework SGLang và vLLM cũng công bố hỗ trợ ngay lập tức. Baidu cho biết phiên bản đã được post-trained của ERNIE 5.5 Flash sẽ được phát hành sớm.