Lập trình viên chứng minh có thể fine-tune LLM ngay trên trình duyệt nhờ WebGPU

Nhà phát triển ngxson vừa tạo ra một bản prototype cho phép huấn luyện các mô hình AI trực tiếp trên máy người dùng mà không cần máy chủ bên ngoài. Bản thử nghiệm này cho thấy các LLM hoàn toàn có thể được fine-tune ngay trên trình duyệt web thông qua WebGPU, với sự hỗ trợ từ hai thư viện llama.cpp và wllama. Cách tiếp cận này giúp loại bỏ nhu cầu về hạ tầng cloud đắt đỏ trong quá trình thích ứng mô hình.

Bước tiến này giúp nâng tầm khả năng của AI trên trình duyệt, thay vì chỉ dừng lại ở mức inference để chạy các mô hình có sẵn. Các nỗ lực hiện tại đang tập trung tích hợp LoRA để tối ưu hóa hơn nữa mức tiêu thụ bộ nhớ và năng lượng khi huấn luyện phía client.