--- format: "aidr-story-markdown/v1" id: "9dc08365b01ed84526ae5f08a437abfd1395953ffeb22a18a0a86a7d4a5ec65b" canonical_url: "https://aidr.today/9dc08365?lang=vi" title: "Mô hình hóa khái niệm tiếp theo: Tạo văn bản nhanh, song song từ thô đến tinh" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-23T17:25:34.000Z" category: "Research" topics: ["inference"] source_urls: ["https://arxiv.org/abs/2610.14162","https://lobste.rs/s/d1snfg/next_concept_modeling_fast_parallel"] summary: "Các mô hình ngôn ngữ lan tỏa (DLMs) cung cấp khả năng lấy mẫu song song để tạo nhanh hơn so với các mô hình tự động hóa, một lợi thế ngày càng quan trọng khi suy diễn trở thành công việc tính toán chiếm ưu thế. Tuy nhiên, DLMs nhanh chóng suy giảm với số bước lấy mẫu ít, xử lý toàn bộ chuỗi ở mỗi bước, và cần nhiều lần duyệt qua tập dữ liệu để đạt chất lượng tốt. Chúng tôi giới thiệu Mô hình hóa khái niệm tiếp theo (NCM), một khung hai giai đoạn từ thô đến tinh: một VQ-VAE dư thừa đa tầng mã hóa văn bản thành một phân cấp các mã rời rạc, và một transformer tạo ra từng cấp một lúc, dự đoán tất cả các mã trong một cấp một cách song song. Ở cùng quy mô tham số, NCM đạt được perplexity sinh học tốt hơn so với cơ sở DLM mạnh nhất trên LM1B trong khi chạy nhanh hơn 21 lần. Trên OpenWebText, NCM cạnh tranh với DLM mạnh nhất trong khi chạy nhanh hơn 10 lần; trên XSum, nó đạt ROUGE-L của DLM mạnh nhất trong khi nhanh hơn 31 lần. Trong nhiệm vụ lý luận Sudoku, NCM vượt trội hơn cả các cơ sở tự động hóa và lan tỏa ở tất cả các mức độ khó khác nhau, sử dụng ít lần đánh giá hàm số hơn. Trong nhiệm vụ lý luận Sudoku, NCM vượt trội hơn cả các cơ sở tự động hóa và lan tỏa ở tất cả các mức độ khó…" --- # Mô hình hóa khái niệm tiếp theo: Tạo văn bản nhanh, song song từ thô đến tinh > [Open the canonical story]() **Published:** 2026-10-23T17:25:34.000Z **Category:** Research **Topics:** inference ## Summary Các mô hình ngôn ngữ lan tỏa \(DLMs\) cung cấp khả năng lấy mẫu song song để tạo nhanh hơn so với các mô hình tự động hóa, một lợi thế ngày càng quan trọng khi suy diễn trở thành công việc tính toán chiếm ưu thế\. Tuy nhiên, DLMs nhanh chóng suy giảm với số bước lấy mẫu ít, xử lý toàn bộ chuỗi ở mỗi bước, và cần nhiều lần duyệt qua tập dữ liệu để đạt chất lượng tốt\. Chúng tôi giới thiệu Mô hình hóa khái niệm tiếp theo \(NCM\), một khung hai giai đoạn từ thô đến tinh: một VQ\-VAE dư thừa đa tầng mã hóa văn bản thành một phân cấp các mã rời rạc, và một transformer tạo ra từng cấp một lúc, dự đoán tất cả các mã trong một cấp một cách song song\. Ở cùng quy mô tham số, NCM đạt được perplexity sinh học tốt hơn so với cơ sở DLM mạnh nhất trên LM1B trong khi chạy nhanh hơn 21 lần\. Trên OpenWebText, NCM cạnh tranh với DLM mạnh nhất trong khi chạy nhanh hơn 10 lần; trên XSum, nó đạt ROUGE\-L của DLM mạnh nhất trong khi nhanh hơn 31 lần\. Trong nhiệm vụ lý luận Sudoku, NCM vượt trội hơn cả các cơ sở tự động hóa và lan tỏa ở tất cả các mức độ khó khác nhau, sử dụng ít lần đánh giá hàm số hơn\. Trong nhiệm vụ lý luận Sudoku, NCM vượt trội hơn cả các cơ sở tự động hóa và lan tỏa ở tất cả các mức độ khó… ## Sources - [Story source]() - [Discussion]()