Scaling trong trò chơi: Tiếp tục huấn luyện cho các agent hiện thân trong thế giới ảo đa dạng

Sự tăng dữ liệu, đa dạng và dung lượng mô hình đã cải thiện học tập hiện thân trong môi trường vật lý, nơi những trải nghiệm đa dạng vẫn được gắn liền với các luật vật lý chung. Cho đến thời điểm này, chưa rõ những lợi thế này có lan tỏa sang các thế giới ảo với phong cách hình ảnh, động lực học, điều khiển và mục tiêu khác nhau hay không. Chúng tôi điều tra câu hỏi này thông qua một nghiên cứu có kiểm soát về việc tiếp tục pre-training (CPT) trên ba trục: khối lượng dữ liệu, độ đa dạng và kích thước mô hình. 120 cấu hình huấn luyện của chúng tôi bao phủ bốn kích thước mô hình từ 0.8B đến 27B, sáu ngân sách dữ liệu từ 50 đến 1.600 giờ, và năm hỗn hợp dao diện từ dữ liệu chỉ có Minecraft đến các kho dữ liệu đa thế giới đa dạng. Chúng tôi đánh giá hiệu suất và khả năng tổng quát hóa bằng cách sử dụng các mất mát xác thực ba cấp và các benchmark trong các thế giới có trong kho dữ liệu cho đến các thế giới chưa từng thấy.