Chip inference tùy chỉnh Jalapeño của OpenAI giúp tăng hiệu suất lên 1,9 lần trên mỗi watt điện

Chip silicon do Broadcom chế tạo cho OpenAI cho thấy độ trễ end-to-end thấp hơn từ 1,7 đến 3,6 lần so với hệ thống GB300 của Nvidia trong các bài benchmark mới. Với tên gọi Jalapeño, con chip này giúp xử lý lượng công việc AI gấp 1,5 đến 1,9 lần trên mỗi watt điện và được thiết kế chuyên biệt cho inference thay vì huấn luyện mô hình. OpenAI dự kiến sẽ triển khai phần cứng này vào hạ tầng tính toán của mình trước cuối năm 2026, giúp cải thiện hiệu suất cho các mô hình như GPT-OSS, DeepSeek R1 và Kimi K2.5.

Được xây dựng trên tiến trình TSMC N3P với băng thông bộ nhớ 15,4TB/s, con chip tiêu thụ 700W này được thiết kế với sự hỗ trợ của AI thông qua Codex để rút ngắn thời gian từ lúc lên ý tưởng đến khi tape-out. Các benchmark hiện tại đang dùng silicon phiên bản A0, trong khi bản cập nhật B0 sắp sản xuất được kỳ vọng sẽ giúp tiết kiệm điện năng thêm 25%. OpenAI đang hướng tới việc triển khai ban đầu...