Research06.09.2026 · 21:52
Tái tạo Minecraft không phải là một benchmark
Từ kuber.studio
GPT Astra được phát hành cách đây vài ngày và, không thể tránh khỏi, trong vòng một giờ, toàn bộ feed của tôi đều là những điều tương tự: tái tạo Minecraft trong một prompt, tự vẽ bản thân bằng MS Paint, con chim hải dương cưỡi xích tuốt dưới dạng SVG, một quả bóng nảy trong hộp xoay với trọng lực tin cậy, và một bộ điều khiển trò chơi SVG. Trên giấy, những điều này trông như những bài toán khó hơn và hơn về mặt hình ảnh cho một mô hình cần giải quyết, đó là lý do chúng lớn đến vậy. Tôi đã bắt đầu gọi chúng là demo-benchmarks, đủ trực quan và dễ hiểu để mọi người hiểu nhưng đủ hữu hạn để mô hình tiếp theo có thể "hoàn hảo" trên chúng. Đó chính là vấn đề, những bài kiểm tra này không thể cho bạn biết một mô hình thực sự tốt đến đâu nữa vì rất dễ cho các phòng thí nghiệm tối ưu hóa cho chính những bài kiểm tra này trong bản phát hành tiếp theo. Cũng không phải hoàn toàn là lỗi của họ, thật sự tôi nghĩ nếu họ không làm điều đó thì thật là ngu ngốc - không có gì bán tốt một lần ra mắt như một con chim hải dương hay một bộ điều khiển trò chơi 3D mà dòng thời gian không ngừng trích dẫn. Một mục tiêu nổi tiếng cố định và tám tuần thời gian chạy là một con chim hải dương đã được giải quyết, những bài kiểm tra này không bao giờ thay đổi và bất kỳ thứ gì không bao giờ thay đổi đều có thể bị overfit. Mỗi chu kỳ ra mắt đều chứng minh lại điều đó. Một bài kiểm tra mà bạn có thể hoàn hảo theo lịch trình đó sẽ đo lường sự chuẩn bị thay vì khả năng, với tôi, đó là trái ngược với bản chất định nghĩa của một benchmark, nó nên là một bài kiểm tra khó, một thứ thực sự khó để hoàn hảo.
Nguồn
+ 1 nguồn khác
- THẢO LUẬNkuberwastakennews.ycombinator.com
Lịch sử nội dung (2)
- 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưuMặc dù agent LLM có thể hướng dẫn tạo ra bản sao Minecraft hoàn chỉnh, điều này không hẳn…GPT Astra được phát hành cách đây vài ngày và, không thể tránh khỏi, trong vòng một giờ, …
- 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưuViệc tái tạo Minecraft không phải là benchmarkTái tạo Minecraft không phải là một benchmark
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay