Research18.11.2026 · 07:001 nguồn

Weight-space programming không cần đến Transformer

Từ huggingface.co

Ảnh: huggingface.co
AI;DR

Các kiến trúc thần kinh tiêu chuẩn như Transformer được lựa chọn vì chúng huấn luyện tốt với gradient descent và chạy nhanh trên GPUs. Trong weight-space programming, một LLM tự viết các trọng số mục tiêu bằng tay mà không cần huấn luyện dựa trên gradient, nên những lý do trên không còn áp dụng được nữa. Liệu chúng ta có nên giữ lại Transformer? Với sự hướng dẫn tối thiểu, mười ví dụ có nhãn và một sandbox, chủ yếu là các câu hỏi trắc nghiệm, nhóm tác giả đã giao nhiệm vụ cho ba frontier LLM là tạo ra các trọng số của một kiến trúc cố định hoặc tự thiết kế kiến trúc đó. Khi được tự do thiết kế, cả ba đều biên soạn các sự thật dưới dạng văn bản thuần túy thành một bảng thưa được truy vấn bởi một quy trình cố định, đạt độ chính xác kiểm tra lên tới 54,4%. Một mô hình LLM-designed đạt độ chính xác kiểm tra cao hơn cả Transformer công bố chính xác nhất mà chính LLM đó đã viết, trong khi sử dụng ít hơn khoảng 1.800 lần số lượng tham số. Khi không có gradient, chúng chọn một bảng, nơi LLM có thể nêu rõ ý nghĩa của từng trọng số cũng như có thể tìm và viết lại một trọng số sai. Mỗi câu trả lời sai sẽ trỏ đến một hàng, và việc xóa một hàng sẽ làm thay đổi khoảng một câu trả lời khác. Từ đó, nhóm tác giả đề xuất một mô hình dựa trên bộ nhớ liên kết có tốc độ trên GPUs nhanh hơn tới 17 lần so với một Transformer cùng kích thước.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#llmBản Markdown

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay