Perplexity ra mắt mô hình nhúng SOTA 9 tỷ tham số, chuyển sang mã nguồn mở

Hệ thống truy xuất mới vượt trội voyage-context-4 tới 14,4 điểm về recall@10 trong đánh giá blind trên turbopuffer private context-bench. Perplexity phát triển công cụ mang tên pplx-embed-v2-context-9b-preview để mã hóa các đoạn tài liệu với toàn bộ tài liệu trong tầm nhìn, đồng thời công ty đang chuyển mô hình sang mã nguồn mở.

Mô hình 9 tỷ tham số lập kỷ lục mới trên các bản đo ConTEB và turbopuffer bằng cách rút gọn độ liên quan từ mô hình nén ngữ cảnh, trong đó chấm điểm mỗi token so với truy vấn. Ở kích thước 1.024 chiều dạng int8, hệ thống chỉ dùng 1KB cho mỗi vector nhưng vẫn vượt hiệu năng voyage-context-4, màu này cần 8KB cho mỗi vector.