Ryan Schaeffer cho rằng loss 2,9% của Goodfire là sự sụt giảm 'tàn khốc' về compute huấn luyện

Nhà nghiên cứu AI Ryan Schaeffer đã đặt câu hỏi về kết luận của một nghiên cứu gần đây về khả năng diễn giải neural network, cho rằng sự sụt giảm hiệu suất mô hình được báo cáo cho thấy sự thiếu hụt lớn về hiệu quả huấn luyện. Schaeffer lập luận rằng mức tăng 2,9% trong loss của language model, do công ty nghiên cứu Goodfire ghi nhận trong các thí nghiệm trên mô hình Alibaba Qwen3.6, không 'khiêm tốn' như công ty tuyên bố mà tương đương với việc lãng phí từ 50% đến 90% compute được dùng trong quá trình pretraining dựa trên các định luật scaling hiện có. Tranh cãi tập trung vào báo cáo kỹ thuật có tiêu đề "Neurons as an Interpretable Basis", trong đó Goodfire khẳng định các neuron đã "về mặt chức năng thưa thớt". Trong nghiên cứu, Goodfire phát hiện việc loại bỏ 92,2% kích hoạt neuron yếu nhất cho mỗi forward pass đã gây ra sự gia tăng loss nhẹ, ủng hộ quan điểm của họ rằng phần lớn công việc tính toán xảy ra ở một tập hợp nhỏ các lần kích hoạt mạnh. Trước đó, công ty đã dùng công cụ "Neuron Scientist" để lập bản đồ hàng nghìn neuron trong mô hình 35B parameter, khẳng định các mạch bên trong của LLM dễ đọc hơn so với nhận định trước đây.