Phương pháp MASS mới của Sakana AI tăng hiệu suất mô hình 27B lên 1.6x

Các subagent ảo được sử dụng trong một khung huấn luyện mới để giúp các mô hình AI vượt qua giới hạn của đánh giá con người khi giải quyết nghiên cứu mở. Được phát triển bởi Sakana AI hợp tác với UC Berkeley, phương pháp Multi Agent Self Supervision (MASS) sắp xếp các bản sao của một mô hình thành các nhóm để giải quyết nhiệm vụ và tối ưu quy trình. Khi thử nghiệm trên mô hình open-weight 27B trong hai chu kỳ, khung này tăng điểm số trên mỗi token đầu ra từ 1.2-1.6x trên bốn benchmark nghiên cứu, bao gồm MLR Bench, ScienceAgentBench và DSBench.

Cách tiếp cận nhằm giải quyết "nghẽn cổ chai giám sát" xảy ra khi nhiệm vụ trở nên quá phức tạp để các chuyên gia con người hướng dẫn tiến trình. Các nhà nghiên cứu lưu ý rằng quá trình tự cải thiện đệ quy này có thể gây rủi ro an toàn, vì một mô hình đóng vai trò đánh giã chính mình có thể củng cố những điểm mù của chính nó. Họ kêu kịch tích cộng đồng AI nghiên cứu cách phát hiện và can thiệp vào những thất bại này khi các mô hình bắt đầu cải thiện vượt quá chuyên môn con người.