Thứ Ba, 18 thg 8, 2026

Sentence Transformers v6.0 hỗ trợ multi vector, lần đầu tích hợp sẵn các mô hình late interaction

Nghiên cứu17 ngày trước1/16

Trước đây, LightOn phải phát triển thư viện PyLate để bổ sung khả năng late interaction cho Sentence Transformers. Với phiên bản 6.0, các tính năng này đã được tích hợp trực tiếp thông qua MultiVectorEncoder, giúp lập trình viên có thể huấn luyện, chạy inference và giải thích các mô hình kiểu ColBERT song song với các loại dense và sparse embedding.

Thay vì dùng kiến trúc bi-encoder truyền thống vốn chỉ tính toán độ tương đồng giữa các vector đơn lẻ cho mỗi tài liệu, kiến trúc mới sử dụng metric MaxSim dựa trên chuỗi ở cấp độ token để tránh việc phải tính trung bình cộng. Bản cập nhật này cũng hỗ trợ các mô hình vision-language kiểu ColPali cùng kiến trúc từ Mixedbread AI và Liquid AI, đồng thời tương thích tốt với các vector database như Elastic và Qdrant.

Đăng nhập để góp ý, chỉnh sửa

Nguồn chính

SOURCE@tomaarsen14:00 18 thg 8— ColBERT-style late interaction models are now a first-class model type, for training, inference & interpretation

SUPPORT@tomaarsen14:00 18 thg 8— LightOn built PyLate on top of it to close that gap

SUPPORT@tonywu_7114:22 18 thg 8— supports ColPali-like models out-of-the-box, with beloved features like token pooling and similarity maps for interpretability!

SUPPORT@nielsrogge15:42 18 thg 8— MaxSim computes similarity between sequences of vectors. The key insight here: each query token finds its best match in the document, then we sum

SUPPORT@tonywu_7114:18 18 thg 8— There's really no good excuse not to use/train your own late interaction models now 😎

SOURCE@lateinteraction15:14 18 thg 8— MultiVectorEncoder joins the family: ColBERT-style late interaction models

SOURCE@jeremyphoward20:51 18 thg 8— The amazingly fast (only 30M!) and extremely accurate @answerdotai ColBERT model is now supported

SUPPORT@amelietabatta14:01 18 thg 8— Sentence Transformers played a huge role in making dense retrievers more popular: easier to use, fine-tune & eval.