Research22.09.2026 · 13:08

Gzip có thể là mô hình ngôn ngữ?

Từ nathan.rs

AI;DR

Cách đây không lâu tôi đã viết về mô hình ngôn ngữ mà không cần mạng nơron, nơi tôi đã tạo ra văn bản của Shakespeare bằng một mô hình n-gram không giới hạn: không có trọng số, không có huấn luyện, chỉ có việc đếm. May mắn thay, tôi tìm thấy bài báo Language Modeling is Compression, nhắc đến sự tương đương giữa nén và dự đoán: mỗi mô hình dự đoán đều vốn là một bộ nén, và tất cả thuật toán nén đều là mô hình dự đoán. Điều này dẫn đến câu hỏi tự nhiên: gzip có thể làm mô hình ngôn ngữ? Không có mạng nơron, không có tham số học được, không có gì cả. Chỉ có bộ nén đi kèm hệ điều hành của bạn. Bạn cung cấp cho nó một bộ văn bản, đưa ra một prompt thông thường, và nó sẽ tiếp tục prompt đó bằng cách tìm kiếm các chuỗi byte nén tốt nhất. Đây là một số đầu ra thực sự, chưa được chỉnh sửa sau khi được huấn luyện trên bản nhỏ của Shakespeare: Dường như được không? Nó không phải là văn bản mạch lạc, nhưng rõ ràng nó biết điều gì đó về văn bản. Nhiều hơn cả những gì tôi mong đợi gzip sẽ biết. Vậy tại sao một bộ nén lại có thể tạo ra điều này? Bài viết này xuất hiện trên Hacker News. Liên kết đến thảo luận tại đây. Hãy nghĩ về những gì một bộ nén làm. Nó dùng ít byte cho những dữ liệu mà nó 'dự đoán' và nhiều byte cho những dữ liệu mà nó không dự đoán. Nếu tôi đưa cho bạn một tệp tin là chữ A lặp lại một triệu lần, bạn có thể mô tả nó trong một câu. Một triệu byte ngẫu nhiên, mặt khác, không có cấu trúc nào để khai thác và gần như không nén được gì cả.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 1 nguồn khác
  1. THẢO LUẬNnetworkednews.ycombinator.com
#gzip#llm#compression#entropy#shakespeareBản Markdown
Lịch sử nội dung (2)
  • 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưu
    Cách đây không lâu tôi đã viết về mô hình ngôn ngữ mà không cần mạng nơron, nơi tôi đã si…
    Cách đây không lâu tôi đã viết về mô hình ngôn ngữ mà không cần mạng nơron, nơi tôi đã tạ…
  • 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưu
    Gzip có thể là một mô hình ngôn ngữ?
    Gzip có thể là mô hình ngôn ngữ?

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay