Chip inference tùy chỉnh Jalapeño của OpenAI giúp tăng hiệu suất lên 1,9 lần trên mỗi watt điện
Chips37 ngày trướcChip silicon do Broadcom chế tạo cho OpenAI cho thấy độ trễ end-to-end thấp hơn từ 1,7 đến 3,6 lần so với hệ thống GB300 của Nvidia trong các bài benchmark mới. Với tên gọi Jalapeño, con chip này giúp xử lý lượng công việc AI gấp 1,5 đến 1,9 lần trên mỗi watt điện và được thiết kế chuyên biệt cho inference thay vì huấn luyện mô hình. OpenAI dự kiến sẽ triển khai phần cứng này vào hạ tầng tính toán của mình trước cuối năm 2026, giúp cải thiện hiệu suất cho các mô hình như GPT-OSS, DeepSeek R1 và Kimi K2.5.
Được xây dựng trên tiến trình TSMC N3P với băng thông bộ nhớ 15,4TB/s, con chip tiêu thụ 700W này được thiết kế với sự hỗ trợ của AI thông qua Codex để rút ngắn thời gian từ lúc lên ý tưởng đến khi tape-out. Các benchmark hiện tại đang dùng silicon phiên bản A0, trong khi bản cập nhật B0 sắp sản xuất được kỳ vọng sẽ giúp tiết kiệm điện năng thêm 25%. OpenAI đang hướng tới việc triển khai ban đầu...
Nguồn chính
- SOURCE@gdb“inference numbers published for jalapeno, team did an amazing job”x.com
- SUPPORT@edludlow“OAI's Richard Ho is on Bloomberg Tech today”x.com
- SUPPORT@cpmou2022“2.1–4.1× higher performance on highly interactive workloads”x.com
- SUPPORT@wallstengine“OpenAI says a second-generation chip is already approaching tape-out, while work on a third generation has begun.”x.com
- SUPPORT@wallstengine“HBM4 with 15.4TB/s of memory bandwidth”x.com
- SUPPORT@deitaone“However, Jalapeno wasn’t tested against Nvidia’s newer Vera Rubin chips.”x.com
- SUPPORT@stocksavvyshay“Jalapeno reportedly delivered more AI work per watt and faster response times as inference becomes a larger share of AI compute.”x.com