Sentence Transformers v6.0 hỗ trợ multi vector, lần đầu tích hợp sẵn các mô hình late interaction
Research44 ngày trướcTrước đây, LightOn phải phát triển thư viện PyLate để bổ sung khả năng late interaction cho Sentence Transformers. Với phiên bản 6.0, các tính năng này đã được tích hợp trực tiếp thông qua MultiVectorEncoder, giúp lập trình viên có thể huấn luyện, chạy inference và giải thích các mô hình kiểu ColBERT song song với các loại dense và sparse embedding.
Thay vì dùng kiến trúc bi-encoder truyền thống vốn chỉ tính toán độ tương đồng giữa các vector đơn lẻ cho mỗi tài liệu, kiến trúc mới sử dụng metric MaxSim dựa trên chuỗi ở cấp độ token để tránh việc phải tính trung bình cộng. Bản cập nhật này cũng hỗ trợ các mô hình vision-language kiểu ColPali cùng kiến trúc từ Mixedbread AI và Liquid AI, đồng thời tương thích tốt với các vector database như Elastic và Qdrant.
Nguồn chính
- SOURCE@tomaarsen“ColBERT-style late interaction models are now a first-class model type, for training, inference & interpretation”x.com
- SUPPORT@tomaarsen“LightOn built PyLate on top of it to close that gap”x.com
- SUPPORT@tonywu_71“supports ColPali-like models out-of-the-box, with beloved features like token pooling and similarity maps for interpretability!”x.com
- SUPPORT@nielsrogge“MaxSim computes similarity between sequences of vectors. The key insight here: each query token finds its best match in the document, then we sum”x.com
- SUPPORT@tonywu_71“There's really no good excuse not to use/train your own late interaction models now 😎”x.com
- SOURCE@lateinteraction“MultiVectorEncoder joins the family: ColBERT-style late interaction models”x.com
- SOURCE@jeremyphoward“The amazingly fast (only 30M!) and extremely accurate @answerdotai ColBERT model is now supported”x.com
- SUPPORT@amelietabatta“Sentence Transformers played a huge role in making dense retrievers more popular: easier to use, fine-tune & eval.”x.com