Loạt sáng kiến mới từ Snorkel AI nhằm ngăn chặn tình trạng các benchmark AI trở nên lỗi thời khi các mô hình quy mô lớn không ngừng phát triển. Công ty tăng cam kết tài chính cho quỹ Open Benchmarks Grants gấp mười lần lên 30 triệu USD để hỗ trợ một hệ sinh thái công cụ đo lường mở đa dạng và được cập nhật liên tục. Đợt mở rộng này bao gồm việc lập đội ngũ red-teaming cho Open Benchmarks nhằm kiểm thử và củng cố các benchmark hiện có, đồng thời ra mắt chương trình học bổng Snorkel Research Fellowship dành cho những người đóng góp phương pháp đánh giá mới.
Khoản đầu tư nhắm đến rủi ro benchmaxxing, tình trạng các frontier model được tối ưu hóa cho các bài kiểm tra cụ thể thay vì trí thông minh thực tế, khiến các chỉ số trở nên tĩnh hoặc quá đơn giản. Snorkel AI đã hợp tác với nhóm phát triển Terminal-Bench, ARC-AGI-3 và OSWorld 2.0. Công ty cho biết các benchmark do họ tài trợ hiện có mặt trên bảng thông số của mọi phòng nghiên cứu frontier lớn để ghi nhận tiến độ và độ an toàn.
Nguồn chính
- SOURCEhuggingnewshuggingnews.com