LensErase: Một foundation model cho Erase Anything

Chúng tôi giới thiệu LensErase, một foundation model Erase Anything dựa trên mặt nạ thiết kế chung cho phép phủ sóng rộng các kịch bản xóa thực tế. LensErase hỗ trợ các đối tượng đa dạng, văn bản hình ảnh, watermark, các hiệu ứng hình ảnh liên quan, xóa nhiều đối tượng, cùng nhiều tỷ lệ kích thước đối tượng, tỉ lệ khung hình và độ phân giải hình ảnh khác nhau. Đầu tiên, để cho phép phủ sóng rộng này, chúng tôi xây dựng LensErase-100M, một bộ dữ liệu quy mô lớn chứa 101,07 triệu cặp nguồn-mask-target phủ sóng rộng các kịch bản xóa khác nhau. Thứ hai, chúng tôi pretrain LensErase từ mô hình text-to-image Lens, điều chỉnh prior sinh mạnh mẽ của nó sang việc xóa dựa trên mặt nạ. Để hiệu quả đưa hình ảnh nguồn và mask xóa vào, chúng tôi đề xuất Mask-Aware RoPE, một mã hóa vị trí quay 3D trực tiếp tiêm thông tin mask vào các token hình ảnh nguồn mà không cần giới thiệu một chuỗi token mask riêng. Cuối cùng, chúng tôi tinh chỉnh mô hình thông qua fine-tune bài giám sát và reinforcement learning với phần thưởng hướng dẫn bởi contract, nhận thức vùng, đồng thời áp dụng TraceFusion trong suốt quá trình suy luận để giữ nội dung chất lượng cao ngoài khu vực chỉnh sửa.