--- format: "aidr-story-markdown/v1" id: "9b4963f72ed4f821f48a73509e40eb3469f9a40feeb8340a36b394a65cd55a3b" canonical_url: "https://aidr.today/9b4963f7?lang=vi" title: "Cơ hội và thách thức của việc chuyển giao mô hình từ prefill sang autoregressive" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-11-06T05:00:00.000Z" category: "Open Source" topics: ["llm","open-source"] source_urls: ["https://arxiv.org/abs/2611.06976"] summary: "Prefill-to-Autoregressive Cross-Model Transfer (PACT), một dạng truyền thông tiềm năng giữa các mô hình ngôn ngữ, kết hợp các biểu diễn prompt từ một mô hình lớn hơn với sự sinh tạo hiệu quả của một mô hình nhỏ hơn, cung cấp một cách hứa hẹn để cân bằng khả năng và chi phí suy diễn. Tuy nhiên, các hệ thống hiện có cung cấp hỗ trợ hạn chế cho việc đánh giá độc lập sự hợp tác giữa mô hình lớn và nhỏ, và chỉ cải thiện hiệu suất nhiệm vụ không đủ để chứng minh rằng mô hình nhận được lợi ích từ thông tin của mô hình gửi. Nhóm tác giả giới thiệu PLatour, một khung PACT nguồn mở kết nối các mô hình đóng băng thông qua những cây cầu tuyến tính nhẹ nhàng, khởi tạo bằng không và được huấn luyện trực tiếp với phần thưởng nhiệm vụ, đồng thời hỗ trợ kiến trúc attention lai. PLatour vượt trội đáng kể so với các đường cơ sở nguồn mở trên các nhiệm vụ sinh tạo và vượt qua kết quả đã báo cáo của Mostik trên các benchmark chung về toán học và lập trình bằng cách sử dụng một mô hình gửi nhỏ hơn đáng kể. Tuy nhiên, các thí nghiệm điều khiển cho thấy những cải thiện trên một số nhiệm vụ có thể được tái tạo bằng tín hiệu gửi không có thông tin, tự truyền thông, hoặc huấn luyện chỉ với mô hình nhận." --- # Cơ hội và thách thức của việc chuyển giao mô hình từ prefill sang autoregressive > [Open the canonical story]() **Published:** 2026-11-06T05:00:00.000Z **Category:** Open Source **Topics:** llm, open\-source ## Summary Prefill\-to\-Autoregressive Cross\-Model Transfer \(PACT\), một dạng truyền thông tiềm năng giữa các mô hình ngôn ngữ, kết hợp các biểu diễn prompt từ một mô hình lớn hơn với sự sinh tạo hiệu quả của một mô hình nhỏ hơn, cung cấp một cách hứa hẹn để cân bằng khả năng và chi phí suy diễn\. Tuy nhiên, các hệ thống hiện có cung cấp hỗ trợ hạn chế cho việc đánh giá độc lập sự hợp tác giữa mô hình lớn và nhỏ, và chỉ cải thiện hiệu suất nhiệm vụ không đủ để chứng minh rằng mô hình nhận được lợi ích từ thông tin của mô hình gửi\. Nhóm tác giả giới thiệu PLatour, một khung PACT nguồn mở kết nối các mô hình đóng băng thông qua những cây cầu tuyến tính nhẹ nhàng, khởi tạo bằng không và được huấn luyện trực tiếp với phần thưởng nhiệm vụ, đồng thời hỗ trợ kiến trúc attention lai\. PLatour vượt trội đáng kể so với các đường cơ sở nguồn mở trên các nhiệm vụ sinh tạo và vượt qua kết quả đã báo cáo của Mostik trên các benchmark chung về toán học và lập trình bằng cách sử dụng một mô hình gửi nhỏ hơn đáng kể\. Tuy nhiên, các thí nghiệm điều khiển cho thấy những cải thiện trên một số nhiệm vụ có thể được tái tạo bằng tín hiệu gửi không có thông tin, tự truyền thông, hoặc huấn luyện chỉ với mô hình nhận\. ## Sources - [Story source]()