Vela: Hành vi người dùng làm siêu giám sát thúc đẩy trí tuệ LLM

Các mô hình ngôn ngữ lớn (LLM) ngày càng được triển khai trong các ứng dụng hành động dựa trên lịch sử hành vi dài hạn của người dùng, từ trợ lý cá nhân đến hệ thống đề xuất và quảng cáo. Những ứng dụng này đòi hỏi chiều kích thước người dùng của trí tuệ LLM: suy luận sở thích, ý định và hành động tương lai có khả năng xảy ra của một người từ dữ liệu hành vi kéo dài vài tuần đến vài năm. Tuy nhiên, các mô hình hiện tại được huấn luyện trên văn bản tĩnh hoặc dữ liệu sinh học, không nắm bắt được cách hành vi người dùng thay đổi theo thời gian. Những hồ sơ hành vi thực tế, đã có sẵn ở quy mô lớn trên các nền tảng nội dung và trong các agent trợ lý cá nhân, cung cấp một tín hiệu giám sát tự nhiên. Chúng tôi đề xuất sử dụng hành vi người dùng làm siêu giám sát và giới thiệu Vela, một khung công tác chuyển đổi dữ liệu hành vi người dùng thực tế thành các nhiệm vụ và quỹ đạo có thể huấn luyện. Từ hồ sơ hành vi ẩn danh của 100.000 người dùng, Vela tạo ra 100.000 nhiệm vụ trên 91 mẫu nhiệm vụ thực tế; lọc dựa trên độ khó và tiêu chí chấp nhận quỹ đạo giữ lại khoảng 75.000 nhiệm vụ với các quỹ đạo huấn luyện đã chọn.