Mô hình Kolibri AI của Aleph Alpha sử dụng 21% dữ liệu tiếng Đức để tuân thủ quy định EU

Phòng thí nghiệm nghiên cứu AI Đức đã thiết kế mô hình mới nhất tuân thủ Bộ quy tắc Thực hành AI Đa năng Chung và GDPR từ khi bắt đầu. Sự căn chỉnh quy định này bao gồm cả sự tập trung vào luật bản quyền để phát triển những gì công ty gọi là công nghệ đáng tin cậy. Để tăng tiện ích khu vực, Aleph Alpha đã sử dụng một tokenizer German-English và đảm bảo nội dung tiếng Đức tự nhiên chiếm 21,3% tổng số token trong giai đoạn tiền huấn luyện của hệ thống.

Trong khi việc ra mắt Kolibri đã được đón nhận là một chiến thắng cho AI chủ quyền châu Âu, nhà nghiên cứu Ethan Mollick đã lưu ý rằng mô hình này đã được fine-tune trên dữ liệu tổng hợp từ các mô hình Trung Quốc là GLM và Qwen. Hệ thống sử dụng kiến trúc mixture-of-experts với tổng cộng 78B tham số, trong đó 3,46B tham số được kích hoạt, và hỗ trợ context window lên đến 1M token. Nó được phân phối theo giấy phép Apache 2.0, cho phép lưu trữ cục bộ và sử dụng hạ tầng riêng tư.