---
format: "aidr-story-markdown/v1"
id: "445dd1b17f284a5e09bf932249b8ae3f09fe28cc35db7b349d6105109166b72b"
canonical_url: "https://aidr.today/445dd1b1?lang=vi"
title: "Loopback Transformer hướng tới cái nhìn thống nhất về residual looped Transformers"
lang: "vi"
requested_lang: "vi"
available_langs: ["en","vi"]
translation_fallback: null
fallback_fields: []
published_at: "2026-11-16T00:00:00.000Z"
category: "Research"
topics: ["llm"]
source_urls: ["https://huggingface.co/papers/2611.07226"]
summary: "Looped Transformers giảm số lượng tham số bằng cách áp dụng lặp lại các block dùng chung, nhưng việc chia sẻ tham số đơn thuần không xác định cách các kết quả tính toán lặp lại được tái sử dụng. Nhóm tác giả xem xét góc độ bộ nhớ độ sâu của các kết nối residual và phân tích biểu diễn nào được lưu sau mỗi lần áp dụng block và cách các lần đọc sau gán trọng số cho nó. Đầu ra của một block đầy đủ chứa cả đầu vào và cập nhật mới của nó, do đó việc gán trọng số cho đầu ra đó cũng làm thay đổi trọng số lịch sử đã có trong đầu vào. Thay vào đó, việc đọc các cập nhật riêng lẻ, với đầu vào của stack dùng chung được giữ trên một đường dẫn riêng, cho phép kiểm soát riêng biệt về độ mạnh của đầu vào, tổng trọng số cập nhật và phân bổ qua các cập nhật. Loopback Transformer thực hiện các kiểm soát này: suy giảm hình học thiết lập tổng trọng số cập nhật và cung cấp prior tính gần đây, và attention học cách phân bổ trọng số đó. Trên ClimbMix, Loopback đạt loss khi xác thực thấp hơn các baseline Transformer tiêu chuẩn với 40-75% tham số Transformer của chúng (không bao gồm token embeddings và output head) ở các quy mô tham chiếu từ 191M đến 3B, với số token huấn luyện và độ sâu thực thi tương ứng.…"
---

# Loopback Transformer hướng tới cái nhìn thống nhất về residual looped Transformers

> [Open the canonical story](<https://aidr.today/445dd1b1?lang=vi>)

**Published:** 2026-11-16T00:00:00.000Z
**Category:** Research
**Topics:** llm

## Summary

Looped Transformers giảm số lượng tham số bằng cách áp dụng lặp lại các block dùng chung, nhưng việc chia sẻ tham số đơn thuần không xác định cách các kết quả tính toán lặp lại được tái sử dụng\. Nhóm tác giả xem xét góc độ bộ nhớ độ sâu của các kết nối residual và phân tích biểu diễn nào được lưu sau mỗi lần áp dụng block và cách các lần đọc sau gán trọng số cho nó\. Đầu ra của một block đầy đủ chứa cả đầu vào và cập nhật mới của nó, do đó việc gán trọng số cho đầu ra đó cũng làm thay đổi trọng số lịch sử đã có trong đầu vào\. Thay vào đó, việc đọc các cập nhật riêng lẻ, với đầu vào của stack dùng chung được giữ trên một đường dẫn riêng, cho phép kiểm soát riêng biệt về độ mạnh của đầu vào, tổng trọng số cập nhật và phân bổ qua các cập nhật\. Loopback Transformer thực hiện các kiểm soát này: suy giảm hình học thiết lập tổng trọng số cập nhật và cung cấp prior tính gần đây, và attention học cách phân bổ trọng số đó\. Trên ClimbMix, Loopback đạt loss khi xác thực thấp hơn các baseline Transformer tiêu chuẩn với 40\-75% tham số Transformer của chúng \(không bao gồm token embeddings và output head\) ở các quy mô tham chiếu từ 191M đến 3B, với số token huấn luyện và độ sâu thực thi tương ứng\.…

## Sources

- [Story source](<https://huggingface.co/papers/2611.07226>)

