---
format: "aidr-story-markdown/v1"
id: "13dc8541f1107ec7d39bb160ac38ce4fd0f6bef551e11d6cddef77fc0d388262"
canonical_url: "https://aidr.today/13dc8541?lang=vi"
title: "Together AI thay thế megakernel viết tay bằng các AI agent để tăng throughput inference lên 2,6 lần"
lang: "vi"
requested_lang: "vi"
available_langs: ["en","vi"]
translation_fallback: null
fallback_fields: []
published_at: "2026-11-17T20:07:09.000Z"
category: "Infra"
topics: ["meta","inference"]
source_urls: ["https://huggingnews.com/ai/together-ai-replaces-hand-written-megakernels-with-ai-agents-to-boost-in-68fff275","https://marketbrief.now/ai/together-ai-replaces-hand-written-megakernels-with-ai-agents-to-boost-in-68fff275"]
summary: "Together AI đã chuyển đổi từ việc dùng các megakernel viết tay sang một hệ thống vận hành bằng agent có tên Together Compiler để tối ưu hóa AI inference. Hệ thống mới sử dụng các AI agent để viết lại và hợp nhất các GPU kernel dựa trên mô hình, chip và lưu lượng truy cập cụ thể, điều mà Together AI cho biết có thể tăng throughput lên tới 2,6 lần. Trong các thử nghiệm trên GPU B200, công ty báo cáo rằng Llama 3.2 1B đạt 2.118 token/s, cải thiện 28% so với hiệu suất của phương pháp megakernel thủ công trước đó. Trước đây, công ty dùng megakernel để hợp nhất toàn bộ quá trình forward pass của một mô hình vào một kernel duy nhất, nhưng một đánh giá kỹ thuật gần đây cho thấy cách tiếp cận này làm phức tạp hóa việc phát triển và không phải lúc nào cũng tối đa hóa được giới hạn phần cứng. Together AI nhận thấy rằng việc hợp nhất các tập hợp thao tác nhỏ và riêng biệt sẽ hiệu quả hơn, mặc dù số lượng các tổ hợp khả thi là quá lớn để con người có thể tối ưu hóa thủ công."
---

# Together AI thay thế megakernel viết tay bằng các AI agent để tăng throughput inference lên 2,6 lần

> [Open the canonical story](<https://aidr.today/13dc8541?lang=vi>)

**Published:** 2026-11-17T20:07:09.000Z
**Category:** Infra
**Topics:** meta, inference

## Summary

Together AI đã chuyển đổi từ việc dùng các megakernel viết tay sang một hệ thống vận hành bằng agent có tên Together Compiler để tối ưu hóa AI inference\. Hệ thống mới sử dụng các AI agent để viết lại và hợp nhất các GPU kernel dựa trên mô hình, chip và lưu lượng truy cập cụ thể, điều mà Together AI cho biết có thể tăng throughput lên tới 2,6 lần\. Trong các thử nghiệm trên GPU B200, công ty báo cáo rằng Llama 3\.2 1B đạt 2\.118 token/s, cải thiện 28% so với hiệu suất của phương pháp megakernel thủ công trước đó\. Trước đây, công ty dùng megakernel để hợp nhất toàn bộ quá trình forward pass của một mô hình vào một kernel duy nhất, nhưng một đánh giá kỹ thuật gần đây cho thấy cách tiếp cận này làm phức tạp hóa việc phát triển và không phải lúc nào cũng tối đa hóa được giới hạn phần cứng\. Together AI nhận thấy rằng việc hợp nhất các tập hợp thao tác nhỏ và riêng biệt sẽ hiệu quả hơn, mặc dù số lượng các tổ hợp khả thi là quá lớn để con người có thể tối ưu hóa thủ công\.

## Sources

- [Story source](<https://huggingnews.com/ai/together-ai-replaces-hand-written-megakernels-with-ai-agents-to-boost-in-68fff275>)
- [Story source](<https://marketbrief.now/ai/together-ai-replaces-hand-written-megakernels-with-ai-agents-to-boost-in-68fff275>)

