--- format: "aidr-story-markdown/v1" id: "cd872c282baf5f96f803f5a50598a2c403d63d33f8a725f17553da832c98f5e3" canonical_url: "https://aidr.today/cd872c28?lang=vi" title: "Byte Language Models: Scaling, Emergent Abstractions, and Information Allocation" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-10T22:25:14.000Z" category: "Research" topics: ["llm"] source_urls: ["https://arxiv.org/html/2610.05978v1","https://lobste.rs/s/t2fxpt/byte_language_models_scaling_emergent"] summary: "Các mô hình ngôn ngữ không dùng tokenizer lưu trữ lại độ lệch suy diễn từ tokenizer cố định bằng cách mô hình hóa văn bản trực tiếp dưới dạng byte, nhưng chuỗi kết quả dài hơn đáng kể tăng chi phí tính toán và loại bỏ các trừu tượng văn bản rõ ràng. Chúng tôi hỏi liệu phép tính bổ sung này có hữu ích không và liệu các Transformers tiêu chuẩn có thể học được các trừu tượng mà tokenization cung cấp không. Chúng tôi nghiên cứu những câu hỏi này trên các Transformers không có kiến trúc liên quan đến tokenization. Với huấn luyện token superposition và embedding băm, các Transformers byte nhất quyết vượt trội hơn các Transformers subword khi quy mô mô hình tăng lên. Thêm vào đó, chúng tôi phát hiện rằng các Transformers byte xây dựng các trừu tượng văn bản địa phương như các tokenizer bên ngoài: một tập hợp các vị trí giống phân đoạn được sử dụng để thu thập các biểu diễn ngữ cảnh địa phương, và việc giới hạn tới 25% các lớp trung gian để các biểu diễn địa phương này vẫn giữ được hiệu suất hạ tầng. Cuối cùng, các cấu trúc học được này gây ra độ khó tạo sinh không đồng đều cao, với sự bất định tập trung ở các ranh giới cấu trúc địa phương; khai thác chúng cho giải mã dự đoán cho kết quả…" --- # Byte Language Models: Scaling, Emergent Abstractions, and Information Allocation > [Open the canonical story]() **Published:** 2026-10-10T22:25:14.000Z **Category:** Research **Topics:** llm ## Summary Các mô hình ngôn ngữ không dùng tokenizer lưu trữ lại độ lệch suy diễn từ tokenizer cố định bằng cách mô hình hóa văn bản trực tiếp dưới dạng byte, nhưng chuỗi kết quả dài hơn đáng kể tăng chi phí tính toán và loại bỏ các trừu tượng văn bản rõ ràng\. Chúng tôi hỏi liệu phép tính bổ sung này có hữu ích không và liệu các Transformers tiêu chuẩn có thể học được các trừu tượng mà tokenization cung cấp không\. Chúng tôi nghiên cứu những câu hỏi này trên các Transformers không có kiến trúc liên quan đến tokenization\. Với huấn luyện token superposition và embedding băm, các Transformers byte nhất quyết vượt trội hơn các Transformers subword khi quy mô mô hình tăng lên\. Thêm vào đó, chúng tôi phát hiện rằng các Transformers byte xây dựng các trừu tượng văn bản địa phương như các tokenizer bên ngoài: một tập hợp các vị trí giống phân đoạn được sử dụng để thu thập các biểu diễn ngữ cảnh địa phương, và việc giới hạn tới 25% các lớp trung gian để các biểu diễn địa phương này vẫn giữ được hiệu suất hạ tầng\. Cuối cùng, các cấu trúc học được này gây ra độ khó tạo sinh không đồng đều cao, với sự bất định tập trung ở các ranh giới cấu trúc địa phương; khai thác chúng cho giải mã dự đoán cho kết quả… ## Sources - [Story source]() - [Discussion]()