Policy-Mask: Thích ứng tính năng diffusion dựa trên ngân sách

Chọn các đặc trưng trung gian từ một mô hình diffusion đóng băng cho các nhiệm vụ phân biệt là điều không đơn giản vì tín hiệu hữu ích được phân bố trên toàn bộ quỹ đạo khử nhiễu, độ sâu mạng và kênh. Trong thực hành, điều này đòi hỏi phải chọn một timestep, một block và một tập con kênh. Các phương pháp hiện có thường cố định những lựa chọn này bằng tay hoặc chỉ tối ưu một vài siêu tham số trích xuất, thường là timestep, rồi tái sử dụng cùng một quy tắc cho mọi đầu vào và ngân sách. Chúng tôi giới thiệu Policy-Mask, một policy được điều kiện bởi ngân sách và huấn luyện trên mục tiêu cuối cùng, đồng thời chọn đồng thời cả ba yếu tố trên dưới một ngân sách kênh quy định. Nếu không chuẩn hóa, đóng góp điểm số của kênh sẽ tăng theo số lượng kênh được chọn và chi phối cập nhật của cả timestep và block. Chúng tôi chuẩn hóa bằng số lượng tử trong tập con, giữ cho ba đầu policy ở các thang đo tương đương và ổn định quá trình huấn luyện chung. Ở cùng ngân sách, Policy-Mask vượt trội hơn các phương pháp trích xuất cố định và các đường cơ sở lọc đặc trưng, đạt 38,9 mIoU trên ADE20K, 75,4% top-1 trên CIFAR-100 ở 128 chiều, và 76,3 PCK@0.1 trên SPair-71k.