TRL giảm 26x compute trainer RL agentic qua tree packing

AsyncGRPO trong TRL hiện nay chỉ forward mỗi token duy nhất một lần cho mỗi batch thay vì lặp lại lịch sử rollout chung cho mỗi mẫu. Cơ chế tree packing này cho phép trainer đạt được reward tương đương trên agentic reinforcement learning với 26x ít compute hơn trên MiMo Envs. Phiên bản hiện tại sử dụng một cuộc gọi FA3 varlen đơn, thay thế cho phiên bản trước dựa trên FlexAttention.

Bản cập nhật này giải quyết một điểm nghẽn trong các lượt forward và backward xảy ra khi rollout huấn luyện agent vượt quá 100k token và batch size lớn. Tính năng này đã được kiểm thử trên mô hình Mixture of Experts và VLM, với các nhà phát triển ghi chú rằng nó thêm khoảng 1% overhead trong các trường hợp không thể đóng gói token chung.