Ra mắt huấn luyện long-context trên TPUs với MaxText Context Parallelism

Khung MaxText của Google Cloud hiện hỗ trợ huấn luyện long-context lên đến 14 triệu token trên Cloud TPUs bằng cách triển khai bốn chiến lược context-parallel: All-gather, A2A, P2P và USP. Được hỗ trợ bởi Tokamax Splash Attention kernel, những chiến lược này quản lý hiệu quả các bottlenech về compute và bộ nhớ attention mà không cần tạo ra toàn bộ dãy key-value trong bộ nhớ high-bandwidth. Các nhà phát triển có thể áp dụng những khả năng này trong MaxText v0.2.4 để đạt được Model FLOPs Utilization (MFU) cao trong các quy trình huấn luyện mô hình quy mô lớn.