Memu-bench benchmarking gui agent on long-horizon user interactions

Các benchmark GUI hiện tại chủ yếu dựa vào các hướng dẫn người dùng chính xác và không trạng thái. Tuy nhiên, trong sử dụng hàng ngày, hướng dẫn thường mơ hồ và phụ thuộc vào lịch sử: người dùng bỏ qua chi tiết chính xác các thao tác trước đó vì không còn nhớ, khiến agent phải khôi phục ngữ cảnh bị thiếu từ lịch sử tương tác dài và nhiễu. Để thu hẹp khoảng cách đánh giá này, chúng tôi giới thiệu MemU-Bench, một benchmark di động với 118 vague tasks dựa trên 29 user trajectories dài, nơi agent phải chắt lọc các luồng tương tác thô vào bộ nhớ và truy xuất ngữ cảnh bị thiếu theo yêu cầu, với kết quả tác vụ được xác minh bằng cơ sở dữ liệu ứng dụng được tuần tự hóa. Cùng với Success Rate, chúng tôi tích hợp Interaction Efficiency (IE) và Success weighted by Path Length (SPL) để phơi bày những agent thành công bằng cách tìm kiếm triệt để trên các ứng dụng khác nhau thay vì thực sự ghi nhớ lịch sử.