AIR-LLM: Phát sóng trọng số AI qua radio cho suy diễn LLM biên không cần bộ nhớ qua RF Computing

Các mô hình ngôn ngữ lớn (LLM) thế hệ kế tiếp đang mở rộng từ đám mây sang các thiết bị biên phổ biến. Tuy nhiên, các thiết bị biên thường thiếu bộ nhớ để lưu trữ trọng số LLM ngày càng lớn, hoặc dù có đủ bộ nhớ thì vẫn tốn nhiều năng lượng để tải trọng số. Điều này dẫn đến câu hỏi: một thiết bị biên có thể chạy LLM mà không cần lưu trữ hay tải trọng số, mà nhận chúng qua không khí và tiêu thụ ngay trong quá trình thực thi không? Lấy cảm hứng từ phát sóng không dây, chúng tôi trình bày AIR-LLM, một kiến trúc suy diễn LLM dành cho thiết bị biên, bao gồm: (i) một trạm phát radio trung tâm (ví dụ: trạm 5G) phát sóng trọng số LLM vào không khí, và (ii) người dùng biên nhận trọng số và thực hiện phép nhân ma trận-vector chung (GEMV) của suy diễn LLM trực tiếp trong miền tần số radio (RF) bằng cách dùng bộ hòa trộn RF. Để rút ngắn thời gian phát sóng, AIR-LLM khai thác đa kênh không gian MIMO và đề xuất một cặp mã hóa-giải mã năng lượng hiệu quả ở phía biên để hiệu chuẩn kênh không dây riêng lẻ. Vì trạm phát trung tâm luôn ở chế độ không biết người dùng, AIR-LLM có khả năng mở rộng người dùng, cho phép một lần phát sóng phục vụ vô số người dùng trong phạm vi phủ sóng. Chúng tôi đã triển khai AIR-LLM trên các kênh được ray-traced của NVIDIA Sionna tại hai cảnh quan đô thị thực tế và cấu hình của một bộ hòa trộn RF thực.