Khả năng phổ quát của việc huấn luyện mạng thần kinh bằng gradient descent

Việc thiết kế kiến trúc mạng thần kinh thường đóng vai trò quyết định đến khả năng tối ưu hóa thành công của mô hình. Nghiên cứu mới đây đã đặt ra câu hỏi: liệu chúng ta có luôn có thể thiết kế lại một mạng thần kinh sao cho nó có thể huấn luyện tốt chỉ bằng gradient descent hay không? Kết quả cho thấy một tính chất phổ quát: nếu tồn tại bất kỳ thuật toán nào có thể tìm ra trọng số tối ưu cho một tác vụ phân loại trên một mạng nhất định, thì luôn có thể mở rộng mạng đó để tái tạo lại chính các trọng số và kết quả đầu ra này chỉ thông qua quá trình huấn luyện bằng gradient descent. Dù phương pháp xây dựng này chưa mang tính ứng dụng thực tế trong tính toán, nhưng nó mở ra những hướng đi quan trọng cho meta-learning và các phương pháp tiếp cận liên quan.