Perplexity mở mã nguồn mô hình embedding 9B và 0.6B cho tính năng tìm kiếm không cần OCR

Perplexity vừa ra mắt bộ embedding model dạng tương tác muộn, cho phép truy xuất cả văn bản lẫn hình ảnh trong cùng một không gian vector chung. Bộ trọng lượng mới mang tên pplx-embed-v2-late đã có mặt trên Hugging Face, giúp người dùng tìm kiếm trực tiếp trên các trang PDF, ảnh chụp màn hình và slide dưới dạng hình ảnh mà không cần dùng đến công nghệ nhận dạng ký tự quang học. Khung làm việc này được tích hợp sẵn trong Sentence Transformers, hỗ trợ truy vấn chéo giữa các mô hình, nơi dữ liệu được lập chỉ mục bởi một mô hình lớn hơn và được truy vấn bởi mô hình nhỏ hơn nhằm giảm độ trễ. Các mô hình này có hai phiên bản tham số 9B và 0.6B, đạt điểm số 92,4% trên MADQA và 64% trên BrowseComp+. Qua 72 tác vụ truy xuất văn bản, mô hình 9B đạt 81,3 nDCG@10, trong khi phiên bản 0.6B đạt 78,0. Perplexity cho biết việc kết hợp các truy vấn từ bản 0.6B với việc lập chỉ mục của bản 9B giúp nâng hiệu suất truy xuất văn bản lên mức 79,6 nDCG@10, đồng thời hiệu năng của mô hình 0.6B trên ảnh trang ViDoRe v3 chỉ kém Nemotron ColEmbed V2 8B đúng 1,2 điểm.