Research15.09.2026 · 13:033 nguồn
GPT-6 Astra dùng Loop Transformers để tăng độ sâu tính toán thay vì số tham số
Từ huggingnews.com
OpenAI vừa ra mắt GPT-6 Astra, mô hình ngôn ngữ lớn thế hệ mới, tăng hiệu năng bằng cách lặp lại dữ liệu qua các lớp nơơnson đã có nhiều lần. Cách tiếp cận này áp dụng loop transformers để nâng cao hiệu suất mà không cần phình to kiến trúc GPT-6 Astra, theo SemiAnalysis. Sự chuyển hướng về độ sâu tính toán cho thấy các phòng thí nghiệm AI đang thấy việc tăng số tham số ngày càng ít hiệu quả trong kế hoạch nghiên cứu hiện tại.
Chiến lược tập trung vào độ sâu thay vì rộng mở rộng nhu cầu vượt qua giới hạn của cụm huấn luyện, chuyển sang tập trung vào độ trễ suy diễn và tiêu thụ năng lượng cho mỗi token. Thay đổi này ảnh hưởng đến chiến lược mua sắm phần cứng, khi các phòng thí nghiệm ưu tiên số phép tính dấu phẩy chấm trên mỗi trọng số để tối ưu hiệu quả tính toán.
Nguồn
+ 1 nguồn khác
- SUPPORT@redboynono“labs buying FLOPs-per-weight when param roadmaps look less aggressive”x.com
Lịch sử nội dung (1)
- 2026-10-04 · Tiêu đề · vi · Sửa câu chữGPT-6 Astra Dùng Loop Transformers Để Tăng Độ Sâu Tính Toán Thay Vì Số Tham SốGPT-6 Astra dùng Loop Transformers để tăng độ sâu tính toán thay vì số tham số
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay