Gameverse bộ dữ liệu gameplay quy mô một phút cho world model tương tác tầm xa

Những tiến bộ gần đây trong world model tương tác cho phép tạo ra các môi trường động, có thể kiểm soát từ các đầu vào hành động. Tuy nhiên, các model hiện tại gặp khó khăn trong việc duy trì tính mạch lạc vượt quá khoảng một phút rollout, giới hạn này không nằm ở khả năng của model mà ở sự khan hiếm dữ liệu huấn luyện tầm xa. Các bộ dữ liệu video gameplay hiện có thường chỉ gồm các clip dưới mười giây, với chú thích mô tả toàn bộ clip bằng văn bản thô và không phân biệt, điều này không đủ cho việc tạo sinh tầm xa có thể kiểm soát. Chúng tôi giải quyết vấn đề này bằng GameVerse, một bộ dữ liệu video gameplay quy mô một phút được xây dựng riêng cho world model tương tác tầm xa. GameVerse chứa 69.7K clips trải dài 1.655 giờ và 349,6 triệu frames qua nhiều kiểu gameplay góc nhìn thứ nhất và thứ ba khác nhau, bao gồm 1.358 giờ các chuỗi liên tục hai phút, dài hơn một bậc độ lớn so với các bộ dữ liệu trước đó. Các clip đi qua một pipeline thống nhất bao gồm phân đoạn nhất quán cảnh, lọc chất lượng, ước tính tư thế camera và chú thích dựa trên sự kiện.