Zyphra ra mắt phương pháp ZHA đạt tốc độ Attention AI subquadratic

Phòng thí nghiệm AI Zyphra đã phát hành phương pháp tính toán mới để xử lý các chuỗi token dài gọi là Zyphra Hierarchical Attention ZHA. Hệ thống này dùng cây tóm tắt nén đã học để cho phép subquadratic attention, một kỹ thuật giảm chi phí tính toán cần thiết để các mô hình xử lý context window khổng lồ. Zyphra dự kiến phương pháp ZHA sẽ nhanh hơn 35 lần so với dense attention và nhanh hơn 5 lần so với MSA khi xử lý 10M token. Công ty kỳ vọng khoảng cách hiệu suất sẽ mở rộng ở 1B token, nơi họ dự kiến tăng tốc khoảng 400 lần so với dense attention và 55 lần so với MSA.