1

Điểm số 8,6% từ bên kiểm thử độc lập mâu thuẫn với tuyên bố 66,7% AI của Cantina

huggingnews.com

Một open-weight model phát triển cho nghiên cứu lỗ hổng bảo mật đã không thể khái quát hóa năng lực trong các bài kiểm thử độc lập gần đây trên benchmark CyberGym. Một bên kiểm thử dùng bản Claude Code CLI thông thường ghi nhận tỷ lệ vượt qua 8,6% đối với model apex-flash-1, mâu thuẫn với tỷ lệ 66,7% do nhà phát triển Cantina Security tuyên bố. Quá trình đánh giá xác định vòng lặp thử lại vô hạn, nhầm lẫn lệnh công cụ và mất đồng bộ ngữ cảnh là các yếu tố chính khiến model không thể hoạt động bên ngoài harness thử nghiệm nội bộ của nhà phát triển. Cantina Security phát hành apex-flash-1 như một phiên bản hậu huấn luyện của glm-5.3-flash, mô tả đợt phát hành này là một thử nghiệm nhỏ để tinh chỉnh quy trình huấn luyện trước khi triển khai quy mô lớn hơn. Công ty này đứng đầu bảng xếp hạng kinh doanh tại Mỹ của HackerOne năm 2026 và kiếm được 1 triệu USD tiền thưởng lỗ hổng từ các công ty gồm Apple và Coinbase, đã xây dựng các model từ 27B đến hơn 1T tham số. Các open weight và một biến thể đã xóa bỏ kiểm duyệt hiện có trên HuggingFace.

Đăng nhập để góp ý, chỉnh sửa

Nguồn chính

  1. SOURCEmarketbrief.now
Bản Markdown