Cắt tỉa LLM như một nhà vật lý: Xóa khối như một bài toán tối ưu Ising

Multiverse Computing vừa đăng một bài viết trên blog trên nền tảng Hugging Face, trong đó họ đề xuất một cách tiếp cận mới dựa trên lý thuyết vật lý để cắt tỉa các mô hình ngôn ngữ lớn (LLM). Thay vì dùng các phương pháp cắt tỉa truyền thống, họ biến bài toán xóa bỏ các khối mạng thành một bài toán tối ưu Ising — một khái niệm quen thuộc trong vật lý thống kê và học máy. Bài viết cho thấy cách tiếp cận này không chỉ giúp giảm kích thước mô hình mà còn duy trì được hiệu suất dự đoán, mở ra khả năng ứng dụng thực tế trong việc tối ưu mô hình AI trên các thiết bị có tài nguyên hạn chế.