Nick Cammarata cho rằng các mô hình AI có thể đọc hiểu được, đảo ngược các đồng thuận trước đó
marketbrief.nowTheo nghiên cứu liên quan đến các mô hình có quy mô hàng nghìn tỷ tham số, những "nút thắt rối rắm" của mạng thần kinh thực chất đơn giản hơn nhiều so với các giả định khoa học trước đây. Nick Cammarata, một nhà nghiên cứu tại Goodfire, báo cáo rằng đại đa số các neuron trong các mô hình lớn đều có thể đọc hiểu được, cho phép truy vết trực tiếp các mạch trong các hệ thống như Kimi K3. Các đợt kiểm tra sơ bộ đối với Qwen3-32B do Cammarata thực hiện cho thấy khoảng 90% các cực neuron phục vụ một mục đích chính duy nhất, trong khi chỉ có từ 2% đến 4% là chưa được giải thích.
Những phát hiện này đảo ngược công trình trước đó của Cammarata tại OpenAI, nơi ông đồng tác giả bài báo Zoom In và ước tính chỉ có 2% neuron có thể đọc hiểu được. Ông cho rằng sự thay đổi này là nhờ việc áp dụng các công cụ agentic hiện đại và sử dụng các phương pháp đơn giản ở quy mô cực lớn. Các nhà nghiên cứu khác gợi ý rằng những kết quả này có thể biến việc theo đuổi AI alignment thành một "khoa học thông thường" và tăng khả năng đạt được khả năng giải thích cơ chế trước khi siêu trí tuệ xuất hiện.
Nguồn chính
- SOURCE@nickcammarata“the vast majority in models up to trillions of parameters are legible, and their circuits beautiful”x.com
- SUPPORT@tszzl“i think this may be remembered as a major moment in scientific history. news so good even eliezer will have to lower his pdoom”x.com
- SUPPORT@andrewcurran_“I had long since given up on reaching any real level of interpretability before superintelligence arrived”x.com
- SOURCEhuggingnewshuggingnews.com
- SOURCEtechmeme.com