CUA-master mở rộng agent sử dụng máy tính qua cải tiến đệ quy thế giới mở

Mặc dù có những tiến bộ gần đây về CUAs, sự phát triển của chúng vẫn bị giới hạn bởi sự đa dạng, khả năng kiểm soát và độ tin cậy hạn chế của dữ liệu tương tác. Hơn nữa, các pipeline tối ưu hóa thông thường thiếu phản hồi lặp lại, trong khi các phương pháp cải tiến đệ quy hiện có thường dựa vào kinh nghiệm tự tạo, giới hạn khả năng mở rộng và mang lại lợi ích giảm dần. Để giải quyết những thách thức này, chúng tôi giới thiệu CUA-Master, một framework cải tiến đệ quy vòng lặp kép lồng nhau. Ở cấp độ hệ thống, một flywheel mô hình dữ liệu thế giới ngoài liên tục kết hợp corpus thế giới mở và tận dụng các điểm yếu mô hình đang phát triển để hướng dẫn các lần lặp xây dựng và tối ưu hóa dữ liệu tiếp theo. Ở cấp độ dữ liệu, một flywheel bên trong kết hợp việc gieo hạt thế giới mở và sự lan truyền tự xúc tác. Cái trước khai thác các quy trình làm việc xác thực dưới dạng tác vụ hạt từ video hướng dẫn và sử dụng tái tạo quỹ đạo song song thị giác-ngữ nghĩa; cái sau biến các hạt này thành các primitive có thể tái sử dụng để tổng hợp có kiểm soát các tác vụ đa dạng, phức tạp và có thể kiểm chứng.