Số hóa nguyên đại số cho ứng dụng học máy

Trong bài báo này, chúng tôi đề xuất định dạng số nguyên đại số (AINF) như một khung cho phép tính toán nén cấu hình cao và chính xác. Một tính chất quan trọng của AINF là khả năng giảm xuống thành số nguyên thuần túy một cách trực tiếp, cho phép thực hiện phép nhân tích lũy không lỗi. Chúng tôi phát triển một động cơ nhân hai ma trận khai thác tính chất này, đạt được hiệu suất nằm trong một hằng số dự đoán được so với các phiên bản số hiệu quả nhất trên các bộ tăng tốc phần cứng hiện đại. Lợi thế khác của AIQ là khả năng lựa chọn các số nguyên đại số phù hợp với đặc điểm số liệu của từng trường hợp sử dụng, mang lại cơ hội tối ưu hóa không khả dụng trong các định dạng số thực hoặc cố định. Được truyền cảm hứng bởi những tính chất này, chúng tôi giới thiệu số hóa nguyên đại số (AIQ), một định dạng nén mất dữ liệu cho suy diễn mô hình ngôn ngữ lớn (LLM), và cung cấp kết quả chứng minh rằng AIQ đạt được độ chính xác cạnh tranh so với định dạng tiêu chuẩn MX trong ngành trên một tập hợp đa dạng các mô hình và benchmark với ngân sách bit trên mỗi tham số tương đương.