SGLang v1.0 inference engine được AI agent viết cho 95% mã hợp nhất

Cộng đồng mã nguồn mở đằng sau framework inference SGLang đã tích hợp một pipeline phát triển thay thế lập trình viên con người cho gần như tất cả các đóng góp mã mới vào core engine. Tại hội nghị thượng đỉnh đầu tiên của dự án, các nhà phát triển tiết lộ bản phát hành mới nhất của phần mềm dựa vào các agent tự động để refactor 200.000 dòng code và quản lý 328 pull request, giúp megakernels tăng tốc 2,1x. Sự chuyển dịch của framework sang bảo trì do agent dẫn dắt diễn ra khi SGLang thành lập một consortium với các thành viên sáng lập bao gồm các chipmaker Nvidia, AMD, Intel cùng Google, Meta và Cloudflare. Quan hệ đối tác này nhằm mở rộng inference phân tán và tối ưu hóa phần mềm cho frontier model trên hệ thống hiện chạy trên hàng trăm nghìn GPUs và xử lý hàng nghìn tỷ token cho người dùng như Modal.