Preference Model mở mã nguồn mở khung RL Karotte dùng trong 1 triệu lượt chạy

Phần mềm reinforcement learning này giúp các phòng thí nghiệm trí tuệ nhân tạo xây dựng môi trường huấn luyện chống lại tình trạng reward hacking. Preference Model phát triển khung Karotte trong năm qua cho các phòng thí nghiệm frontier model, nơi phần mềm được thử nghiệm qua hơn một triệu lượt chạy đánh giá và trải qua red-teaming nhằm xác định các lỗ hổng bảo mật.

Quỹ đầu tư mạo hiểm a16z công bố khoản đầu tư vào Preference Model trong tuần này nhằm hỗ trợ phát triển cơ sở hạ tầng cho các mô hình có năng lực và align. Công ty tập trung vào nghiên cứu AI và machine learning engineering bằng cách dùng tự động hóa để tìm điểm yếu của mô hình và tạo ra các tác vụ nhắm thẳng vào các khoảng trống hiệu suất đó.