Kernelmosaic an open dataset and agentic framework for cuda kernel generation

Huấn luyện các LLM để tạo ra các CUDA kernel hiệu quả đòi hỏi sự giám sát bao quát các yêu cầu tính toán đa dạng và tối ưu hóa mã lặp đi lặp lại. Việc xây dựng sự giám sát này gặp thách thức do các thông số kỹ thuật không đồng nhất, và các triển khai hữu ích xuất hiện qua quá trình thử nghiệm và tinh chỉnh phức tạp lặp đi lặp lại. KernelMosaic được giới thiệu, một open dataset ghép nối các tác vụ CUDA đa dạng với các giải pháp và quỹ đạo đã được xác minh. Đánh giá có hướng dẫn của con người và lựa chọn nhận biết tính đa dạng tuyển chọn các tác vụ được diễn đạt dưới dạng mô tả ngôn ngữ tự nhiên, chương trình tham chiếu, thông số toán học và các giao điểm của chúng. Để xây dựng các giải pháp và quỹ đạo, agentic framework hướng dẫn một LLM mạnh mẽ thông qua việc triển khai, sửa lỗi tính đúng đắn và tối ưu hóa hiệu suất với hướng dẫn CUDA và phản hồi thực thi có thể tái sử dụng. fine-tune một mô hình open-source nhỏ trên KernelMosaic nâng độ chính xác từ 4%, 0% và 0% lên 88%, 82% và 16% trên KernelBench L1, L2 và L3 tương ứng, đồng thời tăng tỷ lệ các tác vụ có kernel nhanh hơn PyTorch eager ở mọi cấp độ.