Jeva: Các mô hình System One từ những nguyên lý cơ bản

Các mô hình system one cho phép ra quyết định trực tiếp với độ trễ thấp. Tuy nhiên, cách tiếp cận dự đoán câu trả lời từ văn bản đã được tuần tự hóa không tự nhiên tôn trọng cấu trúc của một bài toán quyết định. Chúng tôi cho rằng các thiết kế hiện tại chưa chú trọng đủ bốn yêu cầu cấu trúc quan trọng sau: (i) nhạy với giá trị null: Các mô hình nên phân biệt sự vắng mặt câu trả lời với sự bất định giữa các lựa chọn; (ii) bất biến hoán vị: Thay đổi thứ tự các lựa chọn không nên thay đổi quyết định; (iii) có khả năng mở rộng lựa chọn: Tăng số lượng ứng viên không nên yêu cầu định nghĩa lại không gian đầu ra; (iv) có thể lưu trữ: Các phép tính độc lập với yêu cầu trên các lựa chọn thường xuyên nên có thể tái sử dụng xuyên các yêu cầu. Chúng tôi giới thiệu Jeva, một kiến trúc native cho quyết định giải quyết đồng thời những yêu cầu này. Một encoder chung độc lập biểu diễn yêu cầu và từng lựa chọn, trong khi một stack quyết định nhỏ gọn chỉ tinh chỉnh trạng thái yêu cầu đối với bộ nhớ lựa chọn bất biến. Sự tổng hợp đối xứng tạo ra xác suất đẳng cân hoán vị; việc chấm điểm chung hỗ trợ các tập ứng viên có kích thước thay đổi. Ước lượng phạm vi riêng biệt giúp phân biệt sự vắng mặt câu trả lời với sự cạnh tranh giữa các ứng viên, cho phép ra kết quả null một cách rõ ràng.