EDGAR: Efficient Diffusion-Driven Gaussian Avatar Refinement via Synthetic Failure

Các tiến bộ gần đây trong Gaussian splatting đã cho phép tái tạo avatar đầu hiệu quả và siêu thực, tuy nhiên các phương pháp dựa trên video đơn mắt hoặc dựa trên hình ảnh vẫn chịu đựng từ hình học và kết cấu chưa được ràng buộc đủ, dẫn đến các hiện tượng như mờ, kéo dài và bất ổn thời gian. Nhóm tác giả trình bày EDGAR (Efficient Diffusion-Driven Gaussian Avatar Refinement), một khung diffusion có điều kiện được thiết layout để nâng cao chất lượng avatar Gaussian bằng cách sửa chữa các hiệu ứng nhưng vẫn giữ nguyên độ trung thực nhận dạng. Để huấn luyện EDGAR, các tác giả xây dựng EDGAR-SET, một bộ dữ liệu ba mẫu hybrid gồm mẫu thu được thực tế và mẫu kết xuất ảo, mô phỏng các trường hợp thất bại thực tế của avatar Gaussian bằng cách ghép các bản kết xuất bị giảm chất lượng với hình ảnh đất liền và hình ảnh tham chiếu. EDGAR tinh chỉnh các khung hình bị giảm chất lượng thông qua một khối hòa trộn tiêm các đặc trưng nhận dạng được trích xuất bởi mô hình Sapiens tự giám sát vào một backbone diffusion một bước, cho phép loại bỏ hiệu ứng một cách hiệu quả mà không hy sinh hiệu suất. Mô hình EDGAR của các tác giả áp dụng kiến trúc Mixture-of-Experts (MoE) để xử lý các loại giảm chất lượng đa dạng và mức độ nghiêm trọng khác nhau.