Ngẫu nhiên gần đủ? Nén benchmark ổn định và chi phí thấp qua BestRand

Benchmark compression giúp giảm thời gian và chi phí thường rất cao của việc model evaluation bằng cách đánh giá model trên một tập con benchmark nhỏ nhưng khớp gần với kết quả benchmark đầy đủ. Để định lượng lỗi ước tính, nhóm tác giả đã suy ra một xấp xỉ phân tích chính xác cho phân phối lỗi khi ước tính điểm benchmark đầy đủ từ một tập con, cho thấy hầu hết các tập con cho ra lỗi nhỏ, trong khi một vài tập con tạo ra lỗi lớn hơn nhiều, dẫn đến phân phối đuôi dài. Điều này có nghĩa là chỉ cần lấy mẫu ngẫu nhiên đã đạt được hiệu suất mạnh đáng ngạc nhiên với xác suất cao, nhưng vẫn không ổn định do các lỗi lớn hiếm gặp. Nhóm tác giả còn chỉ ra rằng sự không ổn định này vốn có của các foundation model hiện đại và vẫn tồn tại ngay cả khi đánh giá nhiều model hơn. Dựa trên những phát hiện này, nhóm tác giả giới thiệu BestRand, một phương pháp benchmark compression ổn định và chi phí thấp, giữ được hiệu quả của lấy mẫu ngẫu nhiên đồng thời giảm đáng kể phần đuôi lỗi cao. BestRand được xác thực trên hơn 70 benchmark text, multimodal và agent, và được mở rộng sang đánh giá VLA.