BlockLock: Suy diễn LLM có thể lặp lại với hình học batch cố định

Suy diễn LLM có thể lặp lại đòi hỏi một yêu cầu phải cho ra cùng một kết quả bất kể các yêu cầu khác trong batch. Các giải pháp hiện tại trả giá khác nhau: kernel batch không thay đổi ràng buộc mọi toán tử, và việc tách prefill với decode hình dạng cố định (đường cơ sở kiểu CoRun của chúng tôi) sẽ hy sinh tính toán prefill chung và đệm thêm decode. Nhóm tác giả trình bày BlockLock, giữ lại prefill batch chung nhưng chỉ cố định đường dẫn số của yêu cầu được bảo vệ: nó cố định hình học mà yêu cầu nhìn thấy, với hai chế độ: BlockLock-Rows dùng hàng rộng cố định và giữ lại decode batch của tất cả yêu cầu; BlockLock-Pack dùng đóng gói neo cuối cùng với một đoạn giả cô lập, sau đó trích xuất trạng thái KV của yêu cầu được bảo vệ để suy diễn mục tiêu duy nhất.