GHARP: Real-Time Gaussian Head Animation from Large-Scale Reconstruction Prior

GHARP (Real-time Gaussian Head Animation from Large-scale Reconstruction Prior) là một phương pháp cho phép hoạt hình đầu người 3D theo thời gian thực từ một vài hình ảnh đầu vào của một chủ thể và tín hiệu biểu cảm điều khiển. Các tác giả bao gồm Ali Benlalah*, Sepehr Johari*, Patricia Vitoria*, Armin Kappeler*, Artem Sevastopolsky, Alexander Jung, Gabriele Fanelli, Kevin Mader, Manuel Breitenstein, Claudia Plüss, Jan Rüegg, Simon Biland, Thomas Etterlin, Dmitry Kostiaev, Mathias Deschler, Brian Amberg, Sebastian Martin. Nghiên cứu tách bài toán thành hai giai đoạn: giai đoạn nhận dạng xây dựng biểu diễn hình học và ngoại diện của chủ thể một cách ngoại tuyến, và giai đoạn hoạt hình dự đoán các phần dư phụ thuộc vào biểu cảm ở thời gian chạy. Sự tách biệt này mang lại thợ cân bằng thuận lợi giữa độ trung thực, chất lượng và thời gian chạy: giai đoạn nhận dạng có thể tốn kém trong khi giai đoạn hoạt hình chạy một mạng nhẹ, được tối ưu cho thiết bị di động. Phương pháp thực hiện hoạt hình trong một không gian tiềm ẩn được cấu trúc ngữ nghĩa của một mô hình tái tạo đã được huấn luyện trước, nơi các thay đổi biểu cảm giữ nguyên phạm vi không gian, giúp dự đoán phần dư trở nên hiệu quả. Prior tái tạo này cung cấp bố cục không gian nhất quán, cho phép kết hợp nhiều góc nhìn đầu vào thành một biểu diễn Gaussian kích thước cố định và gọn gàng.