Beam đạt 30 điểm trên Artificial Analysis Intelligence Index, xếp hạng thứ hai trong số các mô hình open-weight của Mỹ sau Meta's Muse Spark Open. Điểm số 34% của Beam trên Cyber Index giúp nó trở thành mô hình open-weight của Mỹ đạt hiệu suất cao nhất trong thử nghiệm phân loại này. Trong Agent Arena, Beam là mô hình của Mỹ xếp hạng cao nhất ở vị trí số 12, trong khi nó xếp thứ 22 giữa các mô hình mở trong Code Arena cho WebDev, là mục nhập duy nhất của Mỹ trong top 25. Mô hình mixture of experts có tổng cộng 501B tham số và 23B tham số hoạt động với context window 1M token dưới giấy phép Apache 2.0. Trên GPU Nvidia Blackwell Ultra, Beam cung cấp hơn 70K token mỗi giây trên mỗi GPU. Đánh giá trên AutomationBench-AA cho điểm số 48.5%, mặc dù mô hình ghi nhận tỷ lệ halucination 47% và điểm số 3.0% trên Terminal-Bench 4.0.
Nguồn chính
- SOURCE@reflection_ai“open weights under the Apache 2.0 license - in collaboration with an ecosystem of 40+ partners”x.com
- SOURCE@artificialanlys“Reflection’s first model, Beam, scores 30 on the Artificial Analysis Intelligence Index, placing it #2 among US open weights models”x.com
- SOURCE@artificialanlys“Beam scores 34% of on the Artificial Analysis Cyber Index, making it the leading US open weights model that we’ve tested”x.com
- SOURCE@huggingface“Beam is now available across platforms, with open weights under the Apache 2.0 license”x.com
- SOURCE@nvidiaai“delivers over 70K tokens/sec/GPU on Blackwell Ultra out of the box on day 0”x.com
- SUPPORT@arena“On the Agent Arena leaderboard, Beam 1.0 is the top-ranked US model among open models, landing at #12”x.com
- SUPPORT@vllm_project“501B total parameters, 23B active per token, and a 1M-token context window”x.com
- SUPPORT@vllm_project“8 of 256 experts are active per token across 52 layers”x.com