1

Normalizing Trajectory Models

machinelearning.apple.com

Các tác giả Jiatao Gu, Tianrong Chen, Ying Shen, David Berthelot, Shuangfei Zhai và Josh Susskind cho biết các mô hình dựa trên khuếch tán thường chia nhỏ quá trình lấy mẫu thành nhiều bước khử nhiễu Gaussian, nhưng giả định này sẽ không còn đúng khi quá trình tạo ảnh bị nén vào một vài bước chuyển đổi thô. Những phương pháp ít bước hiện nay giải quyết vấn đề này thông qua distillation, huấn luyện tính nhất quán hoặc mục tiêu đối nghịch, nhưng lại làm mất đi khung xác suất likelihood. Nhóm nghiên cứu giới thiệu Normalizing Trajectory Models (NTM), mô hình hóa mỗi bước đảo ngược như một luồng chuẩn hóa có điều kiện với khả năng huấn luyện likelihood chính xác. Về kiến trúc, NTM kết hợp các khối nghịch đảo nông trong mỗi bước với một bộ dự đoán song song sâu dọc theo quỹ đạo, tạo thành một mạng lưới đầu cuối có thể huấn luyện từ đầu hoặc khởi tạo từ các mô hình flow-matching tiền huấn luyện. Khả năng tính likelihood quỹ đạo chính xác còn cho phép tự distillation: một bộ khử nhiễu nhẹ được huấn luyện trên score function do chính mô hình tạo ra sẽ cho mẫu chất lượng cao chỉ trong bốn bước. Trên các benchmark text-to-image, NTM đạt hiệu suất tương đương hoặc vượt trội các mô hình cơ sở mạnh chỉ với bốn bước lấy mẫu, đồng thời giữ được đặc tính duy nhất là likelihood chính xác trên toàn bộ quỹ đạo tạo ảnh.

Đăng nhập để góp ý, chỉnh sửa

Nguồn chính

  1. SOURCEmachinelearning.apple.com
Bản Markdown