---
format: "aidr-story-markdown/v1"
id: "53adcae64979cd11a01359d466f07f5f3a0d8c39c6f7d0180c237c0d1cb37f57"
canonical_url: "https://aidr.today/53adcae6?lang=vi"
title: "Multi-Branch Transformer"
lang: "vi"
requested_lang: "vi"
available_langs: ["en","vi"]
translation_fallback: null
fallback_fields: []
published_at: "2026-11-18T00:00:00.000Z"
category: "Research"
topics: ["llm"]
source_urls: ["https://huggingface.co/papers/2611.19800"]
summary: "Các mô hình ngôn ngữ Transformer thường được mở rộng bằng cách làm cho các khối rộng hơn hoặc xếp chồng chúng sâu hơn. Trong nghiên cứu này, nhóm tác giả khám phá một hướng đi bổ trợ: branching, tức là sự kết hợp song song của các khối Transformer đầy đủ. Nhóm tác giả giới thiệu Multi-Branch Transformer (MBT), mô hình xử lý đầu vào thông qua các lớp khởi đầu dùng chung, thực thi song song các nhánh khối tuần tự có tham số độc lập, và hợp nhất đầu ra của chúng trước khi qua các lớp cuối dùng chung. Với mức tính toán huấn luyện tương đương, nhóm tác giả nghiên cứu ba biến thể MBT: Wide-Shallow giữ nguyên độ rộng khối, Narrow-Deep giữ nguyên độ sâu tuần tự, và Balanced là sự kết hợp giữa hai loại này. Trong các thử nghiệm tiền huấn luyện có kiểm soát ở bốn quy mô mixture-of-experts (tổng cộng từ 0,8B đến 2,1B tham số), các MBT Wide-Shallow 2 nhánh liên tục vượt trội hơn các Transformers tuần tự trong cùng ngân sách tham số và tính toán huấn luyện. Các MBT Balanced cải thiện hơn nữa và duy trì chất lượng tương đương khi số lượng nhánh tăng lên. Để cải thiện hiệu suất inference tại các context window dài, nhóm tác giả giới thiệu Joint-KV, giúp xây dựng một KV cache dùng chung từ các bi…"
---

# Multi\-Branch Transformer

> [Open the canonical story](<https://aidr.today/53adcae6?lang=vi>)

**Published:** 2026-11-18T00:00:00.000Z
**Category:** Research
**Topics:** llm

## Summary

Các mô hình ngôn ngữ Transformer thường được mở rộng bằng cách làm cho các khối rộng hơn hoặc xếp chồng chúng sâu hơn\. Trong nghiên cứu này, nhóm tác giả khám phá một hướng đi bổ trợ: branching, tức là sự kết hợp song song của các khối Transformer đầy đủ\. Nhóm tác giả giới thiệu Multi\-Branch Transformer \(MBT\), mô hình xử lý đầu vào thông qua các lớp khởi đầu dùng chung, thực thi song song các nhánh khối tuần tự có tham số độc lập, và hợp nhất đầu ra của chúng trước khi qua các lớp cuối dùng chung\. Với mức tính toán huấn luyện tương đương, nhóm tác giả nghiên cứu ba biến thể MBT: Wide\-Shallow giữ nguyên độ rộng khối, Narrow\-Deep giữ nguyên độ sâu tuần tự, và Balanced là sự kết hợp giữa hai loại này\. Trong các thử nghiệm tiền huấn luyện có kiểm soát ở bốn quy mô mixture\-of\-experts \(tổng cộng từ 0,8B đến 2,1B tham số\), các MBT Wide\-Shallow 2 nhánh liên tục vượt trội hơn các Transformers tuần tự trong cùng ngân sách tham số và tính toán huấn luyện\. Các MBT Balanced cải thiện hơn nữa và duy trì chất lượng tương đương khi số lượng nhánh tăng lên\. Để cải thiện hiệu suất inference tại các context window dài, nhóm tác giả giới thiệu Joint\-KV, giúp xây dựng một KV cache dùng chung từ các bi…

## Sources

- [Story source](<https://huggingface.co/papers/2611.19800>)

