Các GUI agent ngày càng hoạt động dựa trên các quan sát omni-modal liên tục bao gồm ảnh chụm màn hình, âm thanh, video, lịch sử tương tác và trạng thái thiết bị. Tuy nhiên, trình bày toàn bộ ngữ cảnh này đồng đều ở mỗi bước bỏ qua thực tế rằng tính liên quan là thoáng thời và thưa thớt: tín hiệu quyết định một hành động có thể trở thành tiếng ồn ở bước tiếp theo. Vì các hành động đã thực hiện sẽ phản hồi lại vào ngữ cảnh, những lỗi này tích lũy thành Sequential Distraction, đưa agent lệch hướng không thể đảo ngược. Chúng tôi đưa ra yêu cầu nền tảng là Focused Perception: một biểu diễn có tính thích ứng theo bước, đủ cho hành động và không xâm lấn. Chúng tôi cài đặt điều này trong FocusGUI, một bộ điều chỉnh nhẹ giúp phân cấp động các kênh đa phương thức dựa trên tài liệu tham chiếu quyết định riêng cho từng bước. Thay vì xử lý đồng đều tất cả các đầu vào, FocusGUI nén bằng bằng chứng liên quan nhất thành một biểu diễn tiềm ẩn nhỏ gọn và tiêm nhẹ vào embedding của decoder đóng băng, hướng dẫn sự chú ý của mô hình mà không thay đổi không gian tham số gốc. FocusGUI huấn luyện chỉ từ giám sát hành động, không cần nhãn liên quan modal cũng như fine-tune backbone.
Nguồn chính
- SOURCEhuggingface.co