Hướng dẫn cách scale reinforcement learning cho Mixture-of-Experts (MoE) trên Amazon EKS bằng Elastic Fabric Adapter (EFA) và DeepEP. Bài viết trình bày kiến trúc kết hợp Amazon EKS, EFA và Amazon S3, giúp tăng 40% tổng throughput rollout cho các bài huấn luyện RLHF và GRPO quy mô lớn.

Đăng nhập để góp ý, chỉnh sửa

Nguồn chính

  1. SOURCEaws.amazon.com
Bản Markdown