InfraSep 30, 2026 · 09:372 sources

OpenAI Hits 300 Tokens per Second Using Nvidia GPUs Instead of Cerebras

From marketbrief.now

Image: marketbrief.now
AI;DR

OpenAI has launched a premium speed tier for GPT-6 Astra that reportedly reaches 300 tokens per second, powered by Nvidia Blackwell-class GPUs such as GB300 running at low batch sizes. The performance marks a reversal from earlier expectations that Cerebras hardware would be used, as a promised 750 tokens per second version from Cerebras remains unavailable. The "Ultrafast" mode is available to Enterprise clients, API developers, and individuals through a $500 per month subscription, with plans to expand to the GPT-6.1 Sol model.

Read the sourceSign in to suggest

Sources

#openai#inferenceMarkdown
Content history (4)
  • 2026-10-04 · Summary · vi · Replaced stored text
    OpenAI đã đạt tốc độ 300 token mỗi giây bằng cách sử dụng các GPUs của Nvidia thay vì dùn…
    Công ty vừa ra mắt gói tốc độ cao cấp cho GPT-6 Astra, giúp tăng tốc độ tạo token lên đến…
  • 2026-10-04 · Title · vi · Replaced stored text
    OpenAI đạt 300 token mỗi giây nhờ dùng GPUs Nvidia thay vì Cerebras
    OpenAI đạt tốc độ 300 token mỗi giây bằng GPU Nvidia thay vì Cerebras
  • 2026-10-04 · Summary · vi · Replaced stored text
    OpenAI đã cập nhật thông tin cho thấy mô hình của họ đạt tốc độ 300 token mỗi giây khi sử…
    OpenAI đã đạt tốc độ 300 token mỗi giây bằng cách sử dụng các GPUs của Nvidia thay vì dùn…
  • 2026-10-04 · Title · vi · Replaced stored text
    OpenAI đạt 300 token/giây nhờ GPU Nvidia thay vì Cerebras
    OpenAI đạt 300 token mỗi giây nhờ dùng GPUs Nvidia thay vì Cerebras

One ranked edition, every morning

The stories that matter today. Free, cancel anytime.

Telegram @aidr_today