Magnitude chạy mô hình mở nhanh gấp đôi so với Ollama

Ứng dụng desktop Magnitude tự động cấu hình các thread GPU và khối bộ nhớ để tối đa hóa hiệu suất trí tuệ nhân tạo cục bản. Tom Greenwald phát hành công cụ này dưới dạng engine suy diễn nguồn mở miễn phí cho Mac, Windows và Linux, chạy trên Apple Silicon, GPU Nvidia, AMD và CPU chuẩn bằng cách tinh chỉnh các hạt toán học khi tải mô hình về. Kiểm tra trên 11 mô hình cục bản cho thấy Mac M4 Pro đạt tốc độ giải mã nhanh hơn 2,19x so với cài đặt MLX của Ollama, và DGX Spark ghi nhận tốc độ giải mã nhanh hơn 2,17x so với llama.cpp.

Phần mềm được tối ưu cho các AI agent như Pi và Codex, sử dụng bộ nhớ KV đã được lượng tử hóa để giảm tiêu thụ bộ nhớ xuống còn khoảng một nửa. Nó cũng hỗ trợ bộ nhớ đệm tiền tố chung, cho phép nhiều agent chạy đồng thời mà không làm giảm hiệu suất hệ thống. Các bản cập nhật tương lai sẽ bao gồm cắt tỉa attention để tăng tốc prefill và streaming chuyên gia từ RAM hoặc đĩa để hỗ trợ các mô hình vượ quá dung lượng bộ nhớ GPU.