Chip AI tùy chỉnh đầu tiên của OpenAI vượt mặt Nvidia GB300 về hiệu suất năng lượng
Chips37 ngày trướcNhà phát triển AI tại San Francisco sẽ bắt đầu lắp đặt chip inference mang tên Jalapeño vào hạ tầng tính toán của mình vào cuối năm 2026. Theo benchmark InferenceX trên ba mô hình công khai, chip này đạt hiệu suất xử lý AI trên mỗi watt cao hơn từ 1,5 đến 1,9 lần và giảm độ trễ từ 1,7 đến 3,6 lần so với Nvidia GB300. Được phát triển cùng Broadcom, dòng ASIC đa năng này chuyên dùng để chạy các LLM thay vì huấn luyện, giúp tăng hiệu suất từ 2,1 đến 4,1 lần đối với các tác vụ tương tác cao.
Chip được sản xuất trên tiến trình TSMC N3P với TDP 700W và băng thông bộ nhớ lên tới 15,4TB/s — mức cao nhất trong số các bộ tăng tốc sắp ra mắt. OpenAI cũng đã dùng chính AI Codex của mình để hỗ trợ thiết kế phần cứng, giúp tối ưu hóa engine tính toán ma trận...
Nguồn chính
- SOURCE@openai“more intelligence from every watt and faster responses, delivering both higher throughput and lower latency in one architecture without sacrificing efficiency”x.com
- SOURCE@openai“Gen 2 is deep in development, and Gen 3 is taking shape”x.com
- SOURCE@cpmou2022“2.1–4.1× higher performance on highly interactive workloads”x.com
- SUPPORT@deitaone“Developed with Broadcom, Jalapeno targets AI inference and could lower data-center costs while handling large models”x.com
- SUPPORT@wallstengine“HBM4 with 15.4TB/s of memory bandwidth”x.com
- SUPPORT@openai“faster ChatGPT responses, more responsive Codex sessions and agents”x.com
- SOURCE@gdb“inference numbers published for jalapeno, team did an amazing job”x.com
- SUPPORT@edludlow“OAI's Richard Ho is on Bloomberg Tech today”x.com