Diffu-LoRA: A novel low-rank adaptation for personalized diffusion models

Việc cá nhân hóa các mô hình diffusion từ văn bản sang hình ảnh dựa trên một vài hình ảnh tham chiếu đòi hỏi phải bảo tồn danh tính chủ thể trong khi vẫn tuân thủ prompt mô tả các bối cảnh mới. Việc fine-tune toàn bộ mô hình tiêu tốn nhiều tham số, trong khi phương pháp low-rank adaptation (LoRA) giảm số lượng tham số cần huấn luyện nhưng vẫn bỏ ngỏ cách phân bổ dung lượng thích ứng giữa các lớp. Nghiên cứu giới thiệu Diffu-LoRA, một phương pháp hiệu quả về tham số giúp học cách phân bổ này thông qua cơ chế gated low-rank adaptation. Diffu-LoRA chèn các thành phần low-rank có thể huấn luyện vào các lớp tuyến tính của khối Transformer và gán một cổng học được cho từng thành phần. Quá trình tối ưu hóa hai tầng cập nhật các trọng số thích ứng và tham số cổng trên các tập dữ liệu riêng biệt, trong khi việc tỉa dần loại bỏ các thành phần có giá trị cổng thấp nhất nhằm đáp ứng ngân sách hạng mục đã định. Quy trình này phân bổ dung lượng thích ứng không đồng đều giữa các lớp trong khi giữ nguyên phần xương sống đã được huấn luyện trước. Các thử nghiệm với Stable Diffusion trên các chủ thể từ DreamBooth và các tập dữ liệu bổ sung cho thấy độ trung thực của chủ thể tổng thể cùng khả năng bám sát prompt được cải thiện so với các baseline fine-tune được đánh giá.