LOLPlay: Đánh giá agent hình ảnh thời gian thực trong League of Legends

Các agent hình ảnh cần phối hợp giữa suy luận và hành động trong khi môi trường thay đổi liên tục trong quá trình inference. Chúng tôi giới thiệu LOLPlay, một benchmark trong môi trường native của League of Legends với 36 nhiệm vụ đặc thù cho từng champion, bao phủ quản lý tài nguyên, chiến đấu, hợp tác và mục tiêu. Các agent tương tác thông qua screenshot và hành động chuột--bàn phím; khởi tạo tự động và 82 kiểm tra subgoal thực thi phân biệt tiến trình một phần với hoàn thành. Trong 324 đánh giá nhiệm vụ của ba model ở ba cài đặt effort suy luận, GPT-6 Astra đạt tỷ lệ thành công nhiệm vụ cao nhất là 25,0% ở effort thấp và trung bình, và tỷ lệ thành công subgoal cao nhất là 40,3% ở effort trung bình. Tuy nhiên, effort cao không cải thiện bất kỳ chỉ số nào so với effort thấp cho bất kỳ model nào. Đối với Astra, yêu cầu dài hơn để ít vòng tương tác hơn, gợi ý chi phí của việc thêm suy luận trong điều khiển thời gian thực. Các trajectory tiết lộ sự kết hợp subgoal chưa hoàn chỉnh và hành động thực thi sau khi cảnh quan thay đổi, động cơ cho các agent kết hợp suy luận hình ảnh với hành động kịp thời.