Looped Diffusion AI của Amazon AGI vượt trội hơn các cơ sở AR

Amazon AGI đã cung cấp mã nguồn và trọng lượng cho các mô hình ngôn ngữ Adaptively Looped Diffusion Language Models (ALoDLM) thông qua một kho lưu trữ công khai. Kiến trúc mới vượt qua tất cả các mô hình diffusion và cơ sở autoregressive đã được đánh giá khác về điểm số benchmark trung bình, theo một trang dự án và bản tóm tắt do công ty công bố. Bản phát hành này xuất hiện sau những dấu hiệu cho thấy GPT-6 của Microsoft sử dụng các mô hình transformer lặp. Bằng cách áp dụng phương pháp looped diffusion, ALoDLM của Amazon cung cấp một lựa chọn thay thế cho các phương pháp autoregressive truyền thống vốn đóng vai trò là tiêu chuẩn chính cho việc phát triển mô hình ngôn ngữ lớn.