Từ phân mảnh đến hợp nhất

Các embedding models là nền tảng cho hầu hết mọi hệ thống AI hiện đại, từ công cụ tìm kiếm đến hệ thống gợi ý. Mặc dù có chung nền tảng toán học, nghiên cứu về embedding models vẫn bị phân mảnh theo modality: các cộng đồng phát triển gần như biệt lập và hiếm khi trao đổi hiểu biết. Chúng tôi cho rằng sự phân mảnh này che khuất một sự hội tụ sâu sắc hơn. Được thúc đẩy bởi contrastive learning, Transformer architectures và sự dịch chuyển về granularity, nghiên cứu embedding qua các modality đang hội tụ về một tập hợp các nguyên tắc chung, ngay cả khi các thách thức riêng của modality vẫn chưa được khám phá đầy đủ. Để suy luận qua sự hội tụ này mà không nhầm lẫn, chúng tôi đề xuất một framework gồm ba khả năng ngày càng khó hơn: coverage, comparability và compositionality. Ba hướng đi hướng tới thống nhất lần lượt thỏa mãn những điều này: transformation mở rộng coverage, alignment cho phép comparability và joint embedding, mục tiêu cuối cùng mà chúng tôi ủng hộ, hướng tới compositionality. Bài báo quan điểm này theo dõi sự tiến hóa kết quả, cung cấp cách tiếp cận thống nhất, xuyên suốt đầu tiên về nghiên cứu embedding omnimodal. Các keep là AI, Transformer và embedding.