Khả năng AI cung cấp sức mạnh cho robot vật lý giờ đây tuân theo một đường cong tăng trưởng có thể dự đoán khi các nhà nghiên cứu tăng quy mô kiến trúc nền tảng. Meta đã chứng minh hiện tượng này bằng cách huấn luyện mô hình JEPA 8 tỷ tham số, theo phát hiện được nhà khoa học AI trưởng Yann LeCun chia sẻ, qua đó thiết lập rằng world model của robot tuân theo các quy luật scale tương tự như ở LLM.
Bước tiến này diễn ra cùng thời điểm phát hành H-JEPA từ AMI, một hệ thống do LeCun làm cố vấn và Michael Rabbat cùng những người khác đồng tác giả. Đây là world model phân cấp học đầu tiên từ đầu đến cuối, dùng cấu trúc 3 tầng gồm các JEPA xếp chồng để chia các mục tiêu thô thành các mục tiêu phụ cụ thể. Cách tiếp cận này đã nâng tỷ lệ thành công trên benchmark Visual AntMaze từ 18% lên 73% và giảm lượng tính toán lập kế hoạch cần thiết dựa trên kiến trúc SIGReg/LeWM.
Nguồn chính
- SOURCE@arankomatsuzaki“Raises success from 18% to 73% on Visual AntMaze, while using less planning compute.”x.com
- SOURCE@basileterv987“Hierarchical world models, learned end-to-end from pixels!”x.com
- SUPPORT@randall_balestr“the first end-to-end learned hierarchical world model for long-horizon visual planning!”x.com
- SOURCEhuggingnewshuggingnews.com