Architect ra mắt Liquid Inference, sàn đấu giá thời gian thực cho LLM inference

Architect Financial Technologies vừa ra mắt Liquid Inference, một LLM router vận hành cơ chế đấu giá trực tiếp cho mỗi yêu cầu. Liquid Inference là một thị trường LLM inference từ Architect, nơi các nhà cung cấp sẽ đấu thầu để xử lý từng prompt. Người mua sẽ thanh toán theo mức giá thấp nhất đáp ứng được các quy tắc đề ra. Đối với các nhà phát triển, thông điệp rất đơn giản: chỉ cần thay đổi URL cơ sở. Bài viết Architect Launches Liquid Inference, a Real-Time Auction for LLM Inference xuất hiện lần đầu trên MarkTechPost.