InfraSep 30, 2026 · 09:372 sources
OpenAI Hits 300 Tokens per Second Using Nvidia GPUs Instead of Cerebras
From marketbrief.now
OpenAI has launched a premium speed tier for GPT-6 Astra that reportedly reaches 300 tokens per second, powered by Nvidia Blackwell-class GPUs such as GB300 running at low batch sizes. The performance marks a reversal from earlier expectations that Cerebras hardware would be used, as a promised 750 tokens per second version from Cerebras remains unavailable. The "Ultrafast" mode is available to Enterprise clients, API developers, and individuals through a $500 per month subscription, with plans to expand to the GPT-6.1 Sol model.
Read the sourceSign in to suggest
Sources
#openai#inferenceMarkdown
Content history (4)
- 2026-10-04 · Summary · vi · Replaced stored textOpenAI đã đạt tốc độ 300 token mỗi giây bằng cách sử dụng các GPUs của Nvidia thay vì dùn…Công ty vừa ra mắt gói tốc độ cao cấp cho GPT-6 Astra, giúp tăng tốc độ tạo token lên đến…
- 2026-10-04 · Title · vi · Replaced stored textOpenAI đạt 300 token mỗi giây nhờ dùng GPUs Nvidia thay vì CerebrasOpenAI đạt tốc độ 300 token mỗi giây bằng GPU Nvidia thay vì Cerebras
- 2026-10-04 · Summary · vi · Replaced stored textOpenAI đã cập nhật thông tin cho thấy mô hình của họ đạt tốc độ 300 token mỗi giây khi sử…OpenAI đã đạt tốc độ 300 token mỗi giây bằng cách sử dụng các GPUs của Nvidia thay vì dùn…
- 2026-10-04 · Title · vi · Replaced stored textOpenAI đạt 300 token/giây nhờ GPU Nvidia thay vì CerebrasOpenAI đạt 300 token mỗi giây nhờ dùng GPUs Nvidia thay vì Cerebras
One ranked edition, every morning
The stories that matter today. Free, cancel anytime.
Telegram @aidr_today