Research23.08.2026 · 01:14
Tại sao mô hình LLM cục bản địa của bạn cảm thấy ngu ngốc hơn thực sự
Từ forum.level1techs.com
Chúng ta đã từng trên các diễn đàn, trò trò chuyện, reddit, discord, youtube hay nơi nào khác và nghe nói “Ôi! Mô hình XYZ thật là TUYỆT VỜI!zomgwtfbbq” rồi tải về (hoặc có khả năng là một dạng đã được lượng tử hóa của nó) và nói “thối… Điều này tệ quá!” Bài viết này sẽ là một loạt thí nghiệm khá kỹ thuật để trình bày tác động của các rủi ro đặc thù trong việc suy diễn. Tôi sẽ sử dụng thuật ngữ “implement phần mềm tham chiếu” để mô tả phòng thí nghiệm đã công bố và cung cấp dịch vụ lưu trữ đầu tiên của các mô hình của họ cũng như đăng tải những tuyên bố benchmark gốc. Phần cứng của họ sẽ khác biệt so với của bạn. Phần mềm của họ cũng sẽ rất khác so với của bạn. Và những so sánh trong bài viết này sẽ không chạy một số 2.58-bit-gguf-trong-ollama với một vài lời nhắc prompt thử nghiệm. Tôi có chủ đích bỏ qua toàn bộ các lĩnh vực nghiên cứu mới đang nổi lên, hàng ngàn trang giấy nghiên cứu và đánh giá tổng quan để làm cho nó dễ tiếp cận hơn cho bạn, người đọc. Đừng chỉ trích những sự đơn giản hóa của tôi nếu không thì tôi sẽ buộc bạn phải đọc phiên bản dài và khó chịu thực sự với toán học. Mỗi trường hợp phần cứng và phần mềm chạy một LLM ngày nay đều hơi khác nhau, hoặc rất khác nhau trong một số trường hợp. Người dùng phòng thí nghiệm tại nhà trung bình có thể đang kết hợp nhiều thế hệ GPU khác nhau. Những con chip trên những thiết bị đó có các bộ lệnh khác nhau. Những bộ lệnh này sẽ thực hiện và thực thi toán học để tính toán token tiếp theo của bạn khác biệt so với bất kỳ người khác nào khác, ngay cả khi chạy cùng một trọng số weights chính xác.
Nguồn
+ 1 nguồn khác
- THẢO LUẬNfelineflocknews.ycombinator.com
Lịch sử nội dung (2)
- 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưuChắc hẳn không ít lần bạn lên các diễn đàn như Reddit, Discord hay YouTube, thấy mọi ngườ…Chúng ta đã từng trên các diễn đàn, trò trò chuyện, reddit, discord, youtube hay nơi nào …
- 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưuTại sao LLM chạy cục bộ thường có cảm giác kém thông minh hơn thực tếTại sao mô hình LLM cục bản địa của bạn cảm thấy ngu ngốc hơn thực sự
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay