Models17.11.2026 · 07:002 nguồn
K2-Horizon: Một đội ngũ frontier gồm các mô hình ngôn ngữ mã nguồn mở
Từ huggingface.co
Chúng tôi giới thiệu K2-Horizon, một đội ngũ gồm sáu mô hình ngôn ngữ hoàn toàn mở, từ mô hình dense 0,9B đến mô hình MoE 375B-A23B, được xây dựng cho mục đích suy luận tổng quát và các tác vụ agentic trong toán học, khoa học, kỹ thuật phần mềm, nghiên cứu chuyên sâu, tự động hóa văn phòng và hơn thế nữa. Các mô hình này dẫn đầu hoặc có khả năng cạnh tranh với các mô hình mở mạnh mẽ cùng kích thước trên các benchmark về agentic và lập trình. Về mặt mô hình hóa, để tăng cường khả năng suy luận, chúng tôi giới thiệu Mixture-of-Value Attention (MoVA), áp dụng MoE vào các phép chiếu giá trị attention, cùng với softplus attention gating, một cơ chế cổng linh hoạt hơn và có cơ sở lý thuyết vững chắc. Mô hình 36B-A4B của chúng tôi sử dụng cả hai kỹ thuật này và đạt hiệu suất gần tương đương với một mô hình dense 32B được huấn luyện trên cùng dữ liệu, nhưng chỉ với số lượng tham số hoạt động bằng 1/7. Chúng tôi cũng giới thiệu Uno, các bộ thích ứng khuếch tán không mất mát giúp tăng tốc độ giải mã lên tới 2,2 lần mà không cần một mô hình nháp riêng biệt.
Nguồn
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay