← Về trang chính1 tin
HeyGen đã công nhận lại mô hình sinh video Avatar IV với hơn 18 tỷ tham số lên các TPU Trillium (v6e) của Google Cloud thông qua torchax và XLA, áp dụng FSDP và Ulysses sequence parallelism trên lưới tám chip. Để đạt tốc độ nhanh 1,86 lần cho streaming thời gian thực, nhóm kỹ thuật đã lập pipeline cho các collective all-to-all, căn chỉnh kích thước khối attention thưa để loại bỏ padding mask, và vượt qua các phụ thuộc tuần tự của softmax bằng giới hạn trên Cauchy-Schwarz được tính trước. Các kernel Pallas tùy chỉnh và tối ưu compiler này chỉ được triển khai sau khi vượt qua các cổng chất lượng hai tầng nghiêm ngặt, đảm bảo đầu ra pixel giống hệt hoặc bằng đương đương về mặt toán học.
Đăng nhập để góp ý, chỉnh sửa