Hugging Face TRL v1.15 giảm tới 82% lượng VRAM đỉnh

Thư viện Transformer Reinforcement Learning nay hỗ trợ độ dài chuỗi lớn gấp tới 7 lần so với các phiên bản trước. Khả năng này xuất hiện trong bản phát hành TRL v1.15, mang theo đầu LM được gộp sẵn theo mặc định giúp giảm tới 82% lượng VRAM đỉnh. Những thay đổi này cho phép sức chứa token đối với phương pháp Direct Preference Optimization tăng từ 10k lên 59k token và Group Relative Policy Optimization tăng từ 29k lên 115k token.

Nhóm phát triển mô tả bản cập nhật này là đợt tối ưu hóa lớn nhất trong lịch sử thư viện. TRL là công cụ được các nhà nghiên cứu và lập trình viên AI dùng để fine-tune và căn chỉnh các large language model thông qua các kỹ thuật reinforcement learning.