GTAGym: Môi trường nhiệm vụ game AAA thực tế cho đánh giá và học tăng cường

Các trò chơi AAA cung cấp một môi trường thử nghiệm phong phú để đánh giá khả năng nhận thức, suy luận và điều khiển của agent. Tuy nhiên, việc đánh giá xem các agent có thể hoàn thành nhiệm vụ trong game AAA không là điều thách thức và thường cần người kiểm tra do kết quả nhiệm vụ thường khó xác minh tự động, chưa nói đến việc áp dụng cho Reinforcement Learning (RL). Nhóm tác giả giới thiệu GTAGym, một môi trường và khung cho đánh giá và RL trên các nhiệm vụ GTA V. benchmark đánh giá của nó, GTAVBench, dẫn xuất từ các nhiệm vụ câu chuyện chính của GTA V, chứa 103 nhiệm vụ trực tuyến được tái tạo trên chín nhóm nhiệm vụ, cùng với 47 nhiệm vụ bắn và bắn từ xa dựa trên hình ảnh GTA V. Một máy chủ web cung cấp truy cập vào môi trường trực tuyến và giao diện đánh giá, hỗ trợ kiểm tra đồng thời thông qua ảnh chụp màn hình và hành động bàn phím-chuột với kiểm tra kết quả trạng thái engine tự động. Nhóm tác giả đánh giá sáu frontier LLMs trên GTAVBench với hướng dẫn nhiệm vụ dạng văn bản và trên nhánh GTAVBench-AGI của nó, nơi hướng dẫn chỉ xuất hiện trong ảnh chụp màn hình đầu tiên và một harness tự động nén lịch sử tương tác. Cấu hình tốt nhất đạt được độ chính xác tổng thể 70,9% trên GTAVBench-AGI, nhưng điều hướng hàng không, tránh né và ngắt chặn vẫn còn khó khăn.