Research01.09.2026 · 16:52
Tôi huấn luyện một transformer nhỏ trong 1,5 giờ và nó vượt nhiều LLMs
Từ mvakde.github.io
Tôi huấn luyện một transformer nhỏ từ đầu trong 1,5 giờ trên một 5090, và nó vượt nhiều LLMs, đạt điểm số tương đương với TRM/HRM. Đây là bản nâng cấp cho mô hình trước đó của tôi: nhanh hơn, tốt hơn, rẻ hơn và vẫn là mã nguồn mở. Đây là blog thứ 3 trong một loạt các công trình về ARC-AGI. Trước đó: Blog 2, Blog 1. Nhiều người cho rằng kết quả trước là không thể. Nó đã thu hút sự chú ý của các nhà nghiên cứu hàng đầu và lan truyền trên X. Ví dụ: các thảo luận bởi Lucas Beyer, Jeremy Howard, Rohan Anil, và bình luận từ nhiều người khác. Tôi nghĩ rằng hiệu quả mẫu là vấn đề quan trọng nhất trong AI ngày nay và tôi muốn giải quyết nó. Ý định đằng sau công trình này là (1) tìm ra giới hạn của hiệu quả mẫu khi bị giới hạn ở transformers/các phương pháp học sâu hiện nay và (2) giảm chi phí để lặp lại nhanh hơn và rẻ hơn. Tiếp theo, tôi sẽ làm việc trên các ý tưởng nghiên cứu mới để phá vỡ những giới hạn này. Tôi sẽ cố gắng giữ chi phí thấp để bất kỳ ai trên thế giới nào cũng có thể làm việc trên điều này. Cách tiếp cận tổng thể tương tự như lần trước (chi tiết kỹ thuật đầy đủ ở đây), nhưng tôi đã thêm một loạt các bản nâng cấp. Dưới đây là tóm tắt nhanh về cách tiếp cận: Mục tiêu chính là tìm ra những cải tiến cho kiến trúc/thuật toán để cải thiện hiệu quả mẫu của mô hình. Những tăng trưởng lớn nhất về điểm số là do
Nguồn
+ 1 nguồn khác
- THẢO LUẬNporridgeraisinnews.ycombinator.com
Lịch sử nội dung (2)
- 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưuTôi huấn luyện một transformer nhỏ từ đầu trong 1,5 giờ trên một 5090, và nó vượt nhiều L…
- 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưuTôi huấn luyện một transformer nhỏ chỉ trong 1,5 giờ mà vẫn vượt mặt nhiều LLMTôi huấn luyện một transformer nhỏ trong 1,5 giờ và nó vượt nhiều LLMs
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay