Samsung nén LLM 13B xuống dưới 1 GB cho AI cục bộ

Một phương pháp nén mã nguồn mở mới thay thế phép nhân dấu phẩy động bằng các thao tác bitwise XOR để giảm yêu cầu phần cứng cho trí tuệ nhân tạo. Samsung đã phát triển kỹ thuật này với tên gọi LittleBit, giúp thu nhỏ một LLM 13B tham số xuống dưới 1 GB bộ nhớ. Hệ thống sử dụng phân tách tiềm ẩn để giảm trọng lượng xuống mức thấp nhất là 0,1 bit mỗi trọng lượng trong một số cấu hình, giúp tăng tốc độ inference gấp 11,6 lần so với các mô hình FP16 tiêu chuẩn. Kỹ thuật này vẫn hoạt động ổn định trong các chế độ sub-0.5 bit, nơi các phương pháp nén trước đây thường thất bại, giúp giảm cả dung lượng bộ nhớ và băng thông tải. Bằng cách thay thế các phép toán ma trận phức tạp bằng các phép đảo dấu cơ bản, khung làm việc này cho phép AI tiên tiến chạy cục bộ trên các thiết bị giá rẻ và hạn chế về tài nguyên.