TimeOmni-o1: Kết nối hai chiều giữa các foundation model chuỗi thời gian và LLM cho suy luận đa phương thức và dự báo

Chuỗi thời gian từ các hệ thống thực tế thường đi kèm với văn bản, như một báo cáo về sự kiện ảnh hưởng đến chúng. Hai nhiệm vụ thường gặp trên những chuỗi này là hiểu biết, ví dụ như trả lời câu hỏi về một chuỗi, và dự báo giá trị tương lai của nó. Cả hai nhiệm vụ đều yêu cầu suy luận trên cả chuỗi thời gian và văn bản cùng lúc. Ngoài ra, nhiệm vụ hiểu biết cho ra văn bản trong khi nhiệm vụ dự báo cho ra một chuỗi thời gian, vì vậy để phục vụ cả hai cần một mô hình có khả năng đọc và tạo ra cả hai dạng dữ liệu. Các mô hình ngôn ngữ lớn (LLM) đọc chuỗi thời gian dưới dạng token số và xử lý kém các chuỗi dài. Các foundation model chuỗi thời gian (TSFM) dự báo tốt nhờ huấn luyện tiền trên quy mô lớn nhưng thường không đọc cũng như không tạo ra văn bản. Các mô hình ngôn ngữ chuỗi thời gian thêm một dạng dữ liệu chuỗi thời gian vào LLM nhưng thực hiện dự báo ở phía LLM, để lại khả năng dự báo được huấn luyện trước của TSFM không được sử dụng. Nhóm tác giả trình bày TimeOmni-o1, kết nối một TSFM đã được huấn luyện trước và một LLM theo hai chiều. Theo một hướng, TSFM mã hóa chuỗi dưới dạng nén cho LLM, mà sau đó suy luận trên nó cùng với văn bản.