Research29.08.2026 · 12:374 nguồn

LeVJEPA đạt hiệu suất tương đương V-JEPA 2 nhưng tốn ít tài nguyên hơn 20 lần

Từ huggingnews.com

Ảnh: huggingnews.com
AI;DR

Phương pháp pretraining mới này thay thế các bộ mã hóa mục tiêu và cơ chế tái tạo bằng một bộ mã hóa duy nhất, được huấn luyện thông qua tính bất biến và SIGReg. Cách tiếp cận end-to-end này giúp đạt hiệu suất ngang ngửa V-JEPA 2 trong khi giảm chi phí tính toán từ 5,6 đến 20,8 lần.

LeVJEPA sử dụng một công thức ổn định để duy trì khả năng hiểu về hình ảnh và chuyển động, ngay cả khi loại bỏ ngẫu nhiên tới 95% video token. Phương pháp này là mã nguồn mở, giúp loại bỏ nhu cầu về masked predictions, stop-gradients hay các lịch trình teacher-student phức tạp.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 3 nguồn khác
  1. SUPPORT@randall_balestr“open source + reproducible”x.com
  2. SUPPORT@askalphaxiv“randomly dropping 95% of video tokens, preventing representation collapse”x.com
  3. SUPPORT@ylecun“A new Pareto frontier in video pretraining”x.com
#open-source#inference#videoBản Markdown
Lịch sử nội dung (1)
  • 2026-10-04 · Tóm tắt · vi · Sửa câu chữ
    Phương pháp pretraining mới này thay thế các bộ mã hóa mục tiêu (target encoders) và cơ c…
    Phương pháp pretraining mới này thay thế các bộ mã hóa mục tiêu và cơ chế tái tạo bằng mộ…

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay