Research17.11.2026 · 07:001 nguồn

Latent feedback là bộ khuếch đại tính toán và dữ liệu

Từ huggingface.co

Ảnh: huggingface.co
AI;DR

Khi nguồn dữ liệu chất lượng cao cạn kiệt, một phương pháp phổ biến là huấn luyện trên đó qua nhiều epoch, nhưng mỗi lần lặp lại sẽ có giá trị thấp hơn lần trước. Latent feedback, phương pháp đưa trạng thái lớp trên cùng của mỗi token vào đầu vào của token tiếp theo, là một cách khác để sử dụng lượng tính toán đó, nhưng nó chưa được thử nghiệm so với một Transformer nguyên bản sử dụng cùng lượng tính toán cho nhiều epoch hơn. Nhóm tác giả đã thực hiện thử nghiệm này trên nhiều quy mô mô hình, lượng dữ liệu duy nhất và số epoch khác nhau, đồng thời tinh chỉnh cả hai mô hình ở mọi quy mô và lượng dữ liệu duy nhất. Latent feedback giúp mỗi FLOP và mỗi token trở nên giá trị hơn, ngoại trừ trường hợp dữ liệu duy nhất khan hiếm so với quy mô mô hình, một trạng thái mà các mô hình hiện nay còn lâu mới chạm tới. Nhóm tác giả nhận thấy latent feedback đóng vai trò như một bộ khuếch đại: khi cố định lượng dữ liệu duy nhất, nó đạt được mức loss của Transformer với ít tính toán hơn; khi cố định số epoch, nó đạt được mức loss đó với ít dữ liệu duy nhất hơn. Hơn nữa, cả hai mức tiết kiệm đều tăng lên theo lượng dữ liệu duy nhất trên mỗi tham số và theo số lần lặp lại, và các tác vụ hạ nguồn cũng xác nhận điều này. Để mở rộng nghiên cứu, nhóm tác giả đã áp dụng một scaling law cho cả hai mô hình, trong đó latent feedback được coi như một Transformer có nhiều tham số hơn; kết quả dự báo cho thấy cả hai mức tiết kiệm sẽ tiếp tục tăng khi lượng dữ liệu duy nhất và số lần lặp lại tăng lên.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#llmBản Markdown

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay