Hướng tới các decision model nền tảng: Drex

Các cách tiếp cận autoregressive với các mô hình ngôn ngữ lớn, như suy luận dạng chuỗi tư duy dài, đã trở thành tiêu chuẩn cho các ứng dụng AI mới vì chúng đạt độ chính xác cao trên nhiều nhiệm vụ khác nhau. Tuy nhiên trong môi trường sản xuất, chúng cho kết quả không ổn định, yêu cầu phân tích đầu ra và tăng chi phí cũng như độ trễ. Các decision model giải quyết vấn đề này: khi nhận một câu hỏi và một tập hợp các lựa chọn do người dùng cung cấp, chúng trả về một phân phối xác suất trên các lựa chọn đó mà không cần giải mã autoregressive. Nhóm tác giả trình bày Drex, một model family gồm bốn decision model open-weight với số tham số lần lượt là 8B (DLM), 9B (v1.5), 35B với 3B tham số hoạt động (v2.0) và 27B (Max). Mỗi yêu cầu bao gồm một trạng thái (một tài liệu, bản ghi hoặc ngữ cảnh của agent, tùy chọn có hình ảnh) cùng các câu hỏi về trạng thái đó, mỗi câu hỏi yêu cầu chọn một trong các lựa chọn, đưa ra phán đoán có/không, hoặc chấm điểm trên thang thứ tự. Quá trình huấn luyện kết hợp supervised fine-tune với reinforcement learning từ phản hồi điều chỉnh (RLAF), cộng thêm vision tuning cho Max. Các thí nghiệm so sánh cho thấy RLAF verbesser chính xác và các loss kiểu consistency cải thiện độ bền trước thứ tự của các lựa chọn.