Kiến trúc AI mới của Cartesia giảm 10x nhu cầu tính toán và dữ liệu huấn luyện LLM

Các nhà nghiên cứu Cartesia đã ra mắt phiên bản cập nhật của Hierarchical Networks, hay còn gọi là H-Nets, cho phép các mô hình ngôn ngữ lớn học từ byte thô thay vì sử dụng tokenization theo chunk cố định chuẩn. Kiến trúc mới đạt hiệu suất tương đương với một mô hình mã nguồn mở được huấn luyện trên 11T token nhưng chỉ cần khoảng 10x ít tính toán và dữ liệu hơn. Trong các thí nghiệm scaling có kiểm soát riêng biệt, nhóm nghiên cứu báo cáo được cải thiện hiệu suất từ 3-5x so với các phương pháp hiện có.

Đây là kết quả của hai năm nghiên cứu, sau một bản preprint H-Net ban đầu được công bố vào tháng 7 năm 2025. Bằng cách di chuyển tokenization vào trong mô hình, H-Nets có thể tự động phân đoạn dữ liệu một cách linh hoạt, quá trình mà Cartesia cho biết cải thiện khả năng mở rộng trên dữ liệu lập trình và tên biến số thay vì sử dụng Byte Pair Encoding. Công ty đặt mục tiêu áp dụng toi ưu hóa toàn diện này vào dữ liệu đa dạng đa phương thức để tăng cường trí tuệ mô hình.