Research02.10.2026 · 07:001 nguồn
Giới hạn của Confidence trong Diffusion
Từ machinelearning.apple.com
Tác giả Russ Webb, Amitis Shidani, Alice Bizeul, Dan Busbridge. Diffusion rời rạp, bao gồm cả remasking và các bộ lấy mẫu trạng thái đồng nhất, tạo ra một chuỗi bằng cách viết nhiều vị trí token mỗi bước, rút mỗi vị trí từ một phân phối per-position và chọn các vị trí để viết từ những phân phối đó. Đối với các lĩnh vực quan tâm chung (pixel, phoneme, hoặc từ), luôn tồn tại sự phụ thuộc giữa các token. Chúng tôi chứng minh rằng một bước chỉ khớp với phân phối huấn luyện khi các vị trí nó viết là conditionally independent cho các token đã cố định, rằng không có tích nào của các phân phối per-position có thể khớp với một nhóm phụ thuộc, và rằng các phân phối per-position không quyết định liệu một nhóm có phụ thuộc hay không: hai phân phối mẫu có thể có cùng các phân phối lề per-position nhưng khác nhau ở các tổ hợp giá trị xảy ra. Trên ScanAndAdd, một nhiệm vụ synthetic mà phân phối mẫu khả dụng dưới dạng công thức đóng, chúng tôi xác minh rằng mỗi nhóm hai hoặc nhiều vị trí chưa xác định mà một xếp hạng confidence ghi nhận đều là nhóm phụ thuộc, và đo lường phân phối sinh ra là 29 lần tầm nền sampling-noise tổng biến thiên trong khi các chỉ số mẫu là 1.0. Unmasking On-Policy Distillation: Where It Helps, Where It Hurts, and Why
Nguồn
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay