Janas: chạy LLM lớn hơn RAM bằng cách stream expert từ SSD

Đạt 37 tok/s từ Qwen3-Next-80B (48 GB) trên laptop 32 GB, 24 khi không dùng draft so với 2,8 của llama.cpp; đọc 62 so với 16 tok/s. Nhanh hơn llama.cpp trên cả 13 mô hình được so sánh ở định dạng Q4_K_M. Các LLM lớn hơn...