Research05.10.2026 · 11:001 nguồn

Tính chất xấp xỉ của mạng neural dropout: Tốc độ Sobolev và biên độ tin cậy

Từ arxiv.org

AI;DR

Tính chất xấp xỉ phổ quát của mạng neural dropout bản thân nó không mô tả kích thước mạng cần thiết cho một hiện thực hóa ngẫu nhiên chính xác. Trong nghiên cứu này, chúng tôi khảo sát việc xấp xỉ khối cầu đơn vị của $W^{n,\infty}([0,1]^d)$ bằng các mạng ReLU có các cạnh được giữ lại độc lập với xác suất $p$. Sai số xấp xỉ được đo đồng nhất trên miền đầu vào và đảm bảo giữ vững với xác suất ít nhất $1-\delta$ đối với một mạng được lấy mẫu đơn lẻ. Chúng tôi xây dựng các mạng có độ sâu hằng số và kích thước $\widetilde O_{n,d}(p^{-9}\varepsilon^{-\max\{d/n,2\}} \log(1/\delta))$. Cấu trúc này kết hợp các mạng con cục bộ bị chặn, việc định vị trên một sự kiện xấp xỉ thành công và phép khai triển Taylor đa tỉ lệ. Ngược lại, năng lực Sobolev áp đặt một cận dưới cho số lượng các cạnh còn tồn tại, trong khi việc xấp xỉ một hàm affine cố định đòi hỏi chi phí lớp đầu ra bậc $((1-p)/p)\varepsilon^{-2}\log(1/\delta)$ ở mức tin cậy đủ cao. Đối với $p\in(0,1)$ cố định và $\delta<\min\{1/2,1-p\}$, các cận trên và cận dưới khớp nhau ở số mũ độ chính xác dưới một ngân sách độ sâu cố định hoặc logarithmic.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay