Accelerated Understanding ra mắt Physical AI với 1 nghìn tỷ tham số và context lên tới 5 nghìn tỷ token

Giáo sư Anima Anandkumar vừa thành lập Accelerated Understanding nhằm phát triển các mô hình AI có khả năng mô phỏng hệ thống vật lý trong không gian bốn chiều. Các mô hình của startup này được huấn luyện với quy mô lên đến 1 nghìn tỷ tham số và hỗ trợ context window đạt 1 nghìn tỷ token khi huấn luyện, thậm chí vượt mức 5 nghìn tỷ khi inference. Mục tiêu của Physical AI là dự đoán chính xác quỹ đạo của các hiện tượng vật lý qua nhiều phương thức khác nhau, từ đó tối ưu hóa thiết kế chip, robot và các thiết bị y tế.

Thay vì dùng kiến trúc Transformer truyền thống, các mô hình này sử dụng neural operators để biểu diễn không gian 3D và thời gian mà không cần các bước lược bỏ dữ liệu thường thấy ở các mô hình video hay world model. Cách tiếp cận này cho phép hệ thống đề xuất các cải tiến thiết kế cụ thể thông qua vòng lặp mô phỏng và tối ưu hóa liên tục.