Cựu nhà nghiên cứu Anthropic cho biết tiến bộ huấn luyện AI 'superexponential' đã thúc đẩy việc ông rời đi

Jacob Coxon, cựu nhà nghiên cứu tại Anthropic, cho biết một slide được cung cấp cho các nhà đầu tư trong chuyến roadshow IPO của công ty đã góp phần vào quyết định rời startup AI của ông. Biểu đồ theo dõi hiệu suất tính toán pretraining trên thang logarit, mà Coxon nhận định cho thấy công ty đang trải qua tiến bộ thuật toán 'superexponential'. Coxon lập luận rằng xu hướng này gợi ý rằng đột phá cho model Mythos không phải là sự kiện đơn lẻ, vì công ty giờ đây có thể huấn luyện lại hệ thống đó chỉ với một phần nhỏ sức mạnh tính toán ban đầu. Ông cho biết mặc dù chi tiêu nghiên cứu tăng đã giúp ích, việc dùng AI để khám phá các cải tiến hơn nữa cho chính thuật toán huấn luyện của nó có thể khiến khả năng của hệ thống mở rộng với tốc độ tăng nhanh.