Research15.09.2026 · 13:033 nguồn

GPT-6 Astra dùng Loop Transformers để tăng độ sâu tính toán thay vì số tham số

Từ huggingnews.com

Ảnh: huggingnews.com
AI;DR

OpenAI vừa ra mắt GPT-6 Astra, mô hình ngôn ngữ lớn thế hệ mới, tăng hiệu năng bằng cách lặp lại dữ liệu qua các lớp nơơnson đã có nhiều lần. Cách tiếp cận này áp dụng loop transformers để nâng cao hiệu suất mà không cần phình to kiến trúc GPT-6 Astra, theo SemiAnalysis. Sự chuyển hướng về độ sâu tính toán cho thấy các phòng thí nghiệm AI đang thấy việc tăng số tham số ngày càng ít hiệu quả trong kế hoạch nghiên cứu hiện tại.

Chiến lược tập trung vào độ sâu thay vì rộng mở rộng nhu cầu vượt qua giới hạn của cụm huấn luyện, chuyển sang tập trung vào độ trễ suy diễn và tiêu thụ năng lượng cho mỗi token. Thay đổi này ảnh hưởng đến chiến lược mua sắm phần cứng, khi các phòng thí nghiệm ưu tiên số phép tính dấu phẩy chấm trên mỗi trọng số để tối ưu hiệu quả tính toán.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 1 nguồn khác
  1. SUPPORT@redboynono“labs buying FLOPs-per-weight when param roadmaps look less aggressive”x.com
#openai#gpt#transformer#scaling#inference#chips#llmBản Markdown
Lịch sử nội dung (1)
  • 2026-10-04 · Tiêu đề · vi · Sửa câu chữ
    GPT-6 Astra Dùng Loop Transformers Để Tăng Độ Sâu Tính Toán Thay Vì Số Tham Số
    GPT-6 Astra dùng Loop Transformers để tăng độ sâu tính toán thay vì số tham số

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay