← Về trang chính1 tin
Bản phát hành mới nhất từ startup AI Mirendil là một mô hình code khả năng xử lý khoảng 500.000 dòng code trong một context window. Fern 0.1, mô hình đầu tiên từ công ty, hỗ trợ lên đến 10 triệu token, cho phép hệ thống nạp khoảng 23MB dữ liệu cùng lúc cho các tác vụ khối lượng lớn như kiểm tra dữ liệu huấn luyện và đọc toàn bộ agent traces.
Hệ thống là phiên bản post-trained của Mirendil-Base, một foundation model mà công ty xây dựng trong 3,5 tháng với một nhà nghiên cứu và dưới 10 triệu USD compute. Hiện tại Mirendil đang pretraining hai mô hình lớn hơn để tiếp nối sau Fern, trong khi mô hình Mirendil-Base-Large trước đó đã ghi nhận perplexity thấp nhất trong số tất cả các mô hình được thử nghiệm trên các codebase riêng tư bởi Baseten.
Đăng nhập để góp ý
Nguồn chính
- SOURCE@bneyshabur“That’s ~0.5M lines of code (roughly Megatron-LM scale) or days of an agent’s work, all in context at once.”x.com
- SUPPORT@bneyshabur“Fern is the first and smallest of three. Two larger ones are being pretrained now.”x.com
- SUPPORT@bneyshabur“Fern’s architecture, training and serving support 10M tokens (~23 MB of code) at once, and it uses them: prediction keeps improving up to 10M.”x.com
- SOURCE@bneyshabur“Fern is built for the high-volume agentic work of anyone building AI: auditing training data, debugging training runs from logs, reading agent traces end to end.”x.com
- SOURCE@baseten“Mirendil-Base-Large had the lowest bits per byte (a tokenizer-independent measure of perplexity) of any model we tested.”x.com
- SUPPORT@bneyshabur“Our first pretrained model was built by one researcher in 3.5 months, with less than $10M in compute.”x.com
- SUPPORT@roberttlange“Agents wrote over 99% of the code and ran the experiments, while the researcher chose directions and decided which results to trust.”x.com
- SUPPORT@ziv_ravid“pre-training coding models with 1 researcher, less than 10M$ compute, kimi k3 level model (with 2T parmas).”x.com