---
format: "aidr-story-markdown/v1"
id: "f7c372bd59cea80a2d4e9bd6260a716bbf90747f6402c0947f06032bd0395517"
canonical_url: "https://aidr.today/f7c372bd?lang=vi"
title: "Weight-space programming không cần đến Transformer"
lang: "vi"
requested_lang: "vi"
available_langs: ["en","vi"]
translation_fallback: null
fallback_fields: []
published_at: "2026-11-18T00:00:00.000Z"
category: "Research"
topics: ["llm"]
source_urls: ["https://huggingface.co/papers/2611.22055"]
summary: "Các kiến trúc thần kinh tiêu chuẩn như Transformer được lựa chọn vì chúng huấn luyện tốt với gradient descent và chạy nhanh trên GPUs. Trong weight-space programming, một LLM tự viết các trọng số mục tiêu bằng tay mà không cần huấn luyện dựa trên gradient, nên những lý do trên không còn áp dụng được nữa. Liệu chúng ta có nên giữ lại Transformer? Với sự hướng dẫn tối thiểu, mười ví dụ có nhãn và một sandbox, chủ yếu là các câu hỏi trắc nghiệm, nhóm tác giả đã giao nhiệm vụ cho ba frontier LLM là tạo ra các trọng số của một kiến trúc cố định hoặc tự thiết kế kiến trúc đó. Khi được tự do thiết kế, cả ba đều biên soạn các sự thật dưới dạng văn bản thuần túy thành một bảng thưa được truy vấn bởi một quy trình cố định, đạt độ chính xác kiểm tra lên tới 54,4%. Một mô hình LLM-designed đạt độ chính xác kiểm tra cao hơn cả Transformer công bố chính xác nhất mà chính LLM đó đã viết, trong khi sử dụng ít hơn khoảng 1.800 lần số lượng tham số. Khi không có gradient, chúng chọn một bảng, nơi LLM có thể nêu rõ ý nghĩa của từng trọng số cũng như có thể tìm và viết lại một trọng số sai. Mỗi câu trả lời sai sẽ trỏ đến một hàng, và việc xóa một hàng sẽ làm thay đổi khoảng một câu trả lời khác. Từ đ…"
---

# Weight\-space programming không cần đến Transformer

> [Open the canonical story](<https://aidr.today/f7c372bd?lang=vi>)

**Published:** 2026-11-18T00:00:00.000Z
**Category:** Research
**Topics:** llm

## Summary

Các kiến trúc thần kinh tiêu chuẩn như Transformer được lựa chọn vì chúng huấn luyện tốt với gradient descent và chạy nhanh trên GPUs\. Trong weight\-space programming, một LLM tự viết các trọng số mục tiêu bằng tay mà không cần huấn luyện dựa trên gradient, nên những lý do trên không còn áp dụng được nữa\. Liệu chúng ta có nên giữ lại Transformer? Với sự hướng dẫn tối thiểu, mười ví dụ có nhãn và một sandbox, chủ yếu là các câu hỏi trắc nghiệm, nhóm tác giả đã giao nhiệm vụ cho ba frontier LLM là tạo ra các trọng số của một kiến trúc cố định hoặc tự thiết kế kiến trúc đó\. Khi được tự do thiết kế, cả ba đều biên soạn các sự thật dưới dạng văn bản thuần túy thành một bảng thưa được truy vấn bởi một quy trình cố định, đạt độ chính xác kiểm tra lên tới 54,4%\. Một mô hình LLM\-designed đạt độ chính xác kiểm tra cao hơn cả Transformer công bố chính xác nhất mà chính LLM đó đã viết, trong khi sử dụng ít hơn khoảng 1\.800 lần số lượng tham số\. Khi không có gradient, chúng chọn một bảng, nơi LLM có thể nêu rõ ý nghĩa của từng trọng số cũng như có thể tìm và viết lại một trọng số sai\. Mỗi câu trả lời sai sẽ trỏ đến một hàng, và việc xóa một hàng sẽ làm thay đổi khoảng một câu trả lời khác\. Từ đ…

## Sources

- [Story source](<https://huggingface.co/papers/2611.22055>)

