Infra18.11.2026 · 03:071 nguồn
Together AI thay thế megakernel viết tay bằng các AI agent để tăng throughput inference lên 2,6 lần
Từ huggingnews.com
Together AI đã chuyển đổi từ việc dùng các megakernel viết tay sang một hệ thống vận hành bằng agent có tên Together Compiler để tối ưu hóa AI inference. Hệ thống mới sử dụng các AI agent để viết lại và hợp nhất các GPU kernel dựa trên mô hình, chip và lưu lượng truy cập cụ thể, điều mà Together AI cho biết có thể tăng throughput lên tới 2,6 lần. Trong các thử nghiệm trên GPU B200, công ty báo cáo rằng Llama 3.2 1B đạt 2.118 token/s, cải thiện 28% so với hiệu suất của phương pháp megakernel thủ công trước đó. Trước đây, công ty dùng megakernel để hợp nhất toàn bộ quá trình forward pass của một mô hình vào một kernel duy nhất, nhưng một đánh giá kỹ thuật gần đây cho thấy cách tiếp cận này làm phức tạp hóa việc phát triển và không phải lúc nào cũng tối đa hóa được giới hạn phần cứng. Together AI nhận thấy rằng việc hợp nhất các tập hợp thao tác nhỏ và riêng biệt sẽ hiệu quả hơn, mặc dù số lượng các tổ hợp khả thi là quá lớn để con người có thể tối ưu hóa thủ công.
Nguồn
Lịch sử nội dung (2)
- 2026-11-18 · Tóm tắt · vi · Thay nội dung đã lưuTogether AI đã thay thế các megakernel viết tay bằng các AI agent nhằm tăng throughput in…Together AI đã chuyển đổi từ việc dùng các megakernel viết tay sang một hệ thống vận hành…
- 2026-11-18 · Tiêu đề · vi · Thay nội dung đã lưuTogether AI thay thế megakernel viết tay bằng AI agent để tăng throughput inference lên 2…Together AI thay thế megakernel viết tay bằng các AI agent để tăng throughput inference l…
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay