Tại sao LLM chạy cục bộ thường có cảm giác kém thông minh hơn thực tế

Chắc hẳn không ít lần bạn lên các diễn đàn như Reddit, Discord hay YouTube, thấy mọi người tung hô một mô hình XYZ cực kỳ bá đạo, nhưng khi tải về dùng thử (thường là bản quantized) thì lại thấy thất vọng vì nó quá tệ. Bài viết này sẽ thực hiện một loạt thử nghiệm kỹ thuật nhằm chứng minh các rủi ro phát sinh trong quá trình inference tùy thuộc vào cách triển khai cụ thể. Tôi sẽ dùng thuật ngữ "reference implementation" để chỉ các môi trường lab đã công bố và cung cấp dịch vụ hosting chính chủ cho...