Models21.09.2026 · 08:18
Nghiên cứu về trọng số chuỗi tuần tự ở quy mô lớn
Từ blog.janestreet.com
Sử dụng sóng đơn vị ASCII để kiểm tra thiết kế phần cứng TL;DR: Chúng tôi nghiên cứu các luật tỷ lệ của trọng số dữ liệu trên các mô hình LM nội bộ và open-weight, tìm thấy hành vi phi đơn điệu ở các quy mô khác nhau. Chúng tôi thay đổi trọng số gán cho các chuỗi trong quá trình huấn luyện và đo lường mức độ mất mát của mô hình khi giảm trên một chuỗi phụ thuộc vào trọng số của chuỗi đó. Tổng hợp lại, kết quả của chúng tôi phù hợp với một xu hướng chung: khi các mô hình chuyển từ quy mô nhỏ sang trung bình, chúng chuyển từ việc học các mô hình chung độc lập với trọng số dữ liệu sang việc học các mô hình cụ thể cho dữ liệu theo tỷ lệ trọng số. Khi các mô hình sau đó chuyển từ quy mô trung bình sang lớn, chúng có khả năng học tất cả các mô hình hiện có trong dữ liệu, một lần nữa độc lập với trọng số dữ liệu. Khi huấn luyện các mạng nơron, chúng ta dành nhiều thời gian suy nghĩ về chính xác những gì chúng ta muốn các mô hình của mình học. Chúng ta quan tâm đến mứ độ nào các mô hình của chúng ta trở nên thông minh một cách chung chung trên tất cả các tác vụ lập trình hay tốt cho OCaml cụ thể? Dữ liệu từ một thị trường cũ cũng hữu ích như thế nào so với dữ liệu thu thập gần đây? Nói chung, chúng ta muốn tăng cường dữ liệu chất lượng cao như thế nào so với việc cho phép các mô hình của chúng ta học từ mọi thứ? Những câu hỏi này cuối cùng đều là những câu hỏi về cách trộn dữ liệu, những câu hỏi về cách và nơi chúng ta nên dùng dung lượng biểu diễn và FLOPs của các mô hình.
Nguồn
Lịch sử nội dung (2)
- 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưuMột nghiên cứu về việc gán trọng số cho các trình tự ở quy mô lớn đã được thực hiện.Sử dụng sóng đơn vị ASCII để kiểm tra thiết kế phần cứng TL;DR: Chúng tôi nghiên cứu các …
- 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưuNghiên cứu trọng số trình tự ở quy mô lớnNghiên cứu về trọng số chuỗi tuần tự ở quy mô lớn
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay