Tăng tốc tạo ảnh với FLUX 3 Image Klein trên GPU Blackwell của NVIDIA

Khi triển khai các mô hình diffusion trong công cụ thiết kế, trình soạn ảnh và quy trình sản xuất hình ảnh, các nhà phát triển phải tính đến độ trễ suy diễn. Việc tạo một ảnh yêu cầu nhiều lượt chạy tuần tự qua một mô hình có hàng tỷ tham số, và độ phân giải cao hơn sẽ tăng chi phí attention. FLUX 3 Image Klein là một mô hình chỉnh sửa và tạo ảnh từ Black Forest Labs (BFL) được huấn luyện trên NVIDIA GB200 NVL72 và tối ưu hóa cho GPU NVIDIA. Nó cung cấp các checkpoint Base và distilled cho các yêu cầu độ trễ và độ trung thực khác nhau. Hướng dẫn này cho thấy cách cấu hình FLUX 3 Image Klein trong NVIDIA TensorRT LLM VisualGen để tận dụng các kernel hợp nhất, đồng thời đa-GPU, hỗ trợ FP8/NVFP4, bộ nhớ đệm và các tối ưu hóa attention. Nó so sánh độ trễ và thay đổi đầu ra đã tạo ra giữa các phương pháp tối ưu hóa. Trong các bài kiểm tra 2048×2048 đã báo cáo trên một GPU B200 đơn lẻ của NVIDIA, các tối ưu hóa kết hợp đã mang lại tốc độ nhanh hơn lên đến 3,46x cho chuyển đổi văn bản-thành-ảnh (T2I) và 4,45x cho chuyển đổi ảnh-thành-ảnh (I2I) so với suy diễn BF16 chưa được biên dịch. Hướng dẫn bao gồm hướng dẫn triển khai và cấu hình YAML để áp dụng các tối ưu hóa này vào công việc của bạn. FLUX 3 Image Klein kết hợp Qwen3-VL-4B-Instruct để điều kiện văn bản, một diffusion transformer (DiT) để tinh chỉnh latent ảnh, và một autoencoder để giải mã latent thành ảnh và mã hóa đầu vào tham chiếu I2I. Klein xử lý các luồng văn bản, ảnh mục tiêu nhiễu và ảnh tham chiếu tùy chọn độc lập trước khi kết hợp chúng thông qua attention chung.