--- format: "aidr-story-markdown/v1" id: "166f5c27ff0ae649afa5943d506f17f46873d2d2a1116a768620f70ed2a44837" canonical_url: "https://aidr.today/166f5c27?lang=vi" title: "Về thiết kế của Hyper-Connections" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-11-13T00:00:00.000Z" category: "Research" topics: ["llm"] source_urls: ["https://huggingface.co/papers/2611.05984"] summary: "Các kiến trúc HC ngày càng được áp dụng trong các frontier language model, nhưng các thành phần của chúng vẫn chưa được hiểu đầy đủ và gây ra overhead khi huấn luyện không nhỏ. Trong công trình này, nhóm tác giả nghiên cứu có hệ thống kiến trúc HC để hiểu các thành phần và xác định các thiết kế đơn giản hơn, hiệu quả hơn. Nhóm tác giả phát hiện rằng cơ chế gating read/write được học mà không trộn lẫn và cơ chế trộn không bị ràng buộc với các gate cố định tạo thành hai nhóm tương tác hiệu quả: riêng lẻ đạt hiệu suất tương đương mHC. Nhóm tác giả cũng xác định việc truy cập lặp lại vào trạng thái residual mở rộng là nguồn overhead huấn luyện chính, ngay cả khi không có trộn lẫn. Những phát hiện này dẫn đến SimpleHC, đơn giản hóa kiến trúc bằng cách loại bỏ trộn residual và đơn giản hóa việc thực thi thông qua truy cập bộ nhớ dùng chung, tận dụng cấu trúc cộng và đầu vào gate dùng chung. Các gate riêng theo layer chia sẻ trạng thái vào nhóm, cho phép đọc theo lô và ghi trì hoãn; các hiệu chỉnh vô hướng bảo toàn chính xác đóng góp đầu ra của sublayer trước đó. Các phân tích của nhóm tác giả ủng hộ cả cấu trúc residual được giữ lại và thiết kế truy cập bộ nhớ dùng chung." --- # Về thiết kế của Hyper\-Connections > [Open the canonical story]() **Published:** 2026-11-13T00:00:00.000Z **Category:** Research **Topics:** llm ## Summary Các kiến trúc HC ngày càng được áp dụng trong các frontier language model, nhưng các thành phần của chúng vẫn chưa được hiểu đầy đủ và gây ra overhead khi huấn luyện không nhỏ\. Trong công trình này, nhóm tác giả nghiên cứu có hệ thống kiến trúc HC để hiểu các thành phần và xác định các thiết kế đơn giản hơn, hiệu quả hơn\. Nhóm tác giả phát hiện rằng cơ chế gating read/write được học mà không trộn lẫn và cơ chế trộn không bị ràng buộc với các gate cố định tạo thành hai nhóm tương tác hiệu quả: riêng lẻ đạt hiệu suất tương đương mHC\. Nhóm tác giả cũng xác định việc truy cập lặp lại vào trạng thái residual mở rộng là nguồn overhead huấn luyện chính, ngay cả khi không có trộn lẫn\. Những phát hiện này dẫn đến SimpleHC, đơn giản hóa kiến trúc bằng cách loại bỏ trộn residual và đơn giản hóa việc thực thi thông qua truy cập bộ nhớ dùng chung, tận dụng cấu trúc cộng và đầu vào gate dùng chung\. Các gate riêng theo layer chia sẻ trạng thái vào nhóm, cho phép đọc theo lô và ghi trì hoãn; các hiệu chỉnh vô hướng bảo toàn chính xác đóng góp đầu ra của sublayer trước đó\. Các phân tích của nhóm tác giả ủng hộ cả cấu trúc residual được giữ lại và thiết kế truy cập bộ nhớ dùng chung\. ## Sources - [Story source]()