Research02.10.2026 · 11:001 nguồn
Đo lường khoảng cách đủ điều kiện của vi tác vụ: Khi nào một SLM có sẵn là đủ cho một agent harness?
Từ arxiv.org
Các agent harness ngày càng muốn chạy các SLM cho các vi tác vụ xoay quanh một LLM lập kế hoạch tuyến đầu: tự động duyệt lệnh shell, viết bộ nhớ, chọn công cụ, xếp hạng các lượt trước. Chúng tôi đặt câu hỏi liệu các SLM có sẵn có đạt được ngưỡng do chuyên gia định nghĩa hay không, và khi chúng thất bại thì vì lý do gì, đồng thời lượng tử hóa có làm thay đổi câu trả lời hay không. Chúng tôi xây dựng một benchmark gồm 4 vi tác vụ như vậy với các prompt cố định và số liệu tự động, mỗi tác vụ có một ngưỡng $\tau$ được chỉ định sẵn neo vào một cơ sở không phải LLM giá rẻ và quy tắc đủ điều kiện nhận biết CI (cấu hình chỉ vượt qua nếu giới hạn độ tin cậy vượt qua $\tau$). Quét Qwen3 0.6/1.7/4/8B ở mức tốt nhất (FP16, tham lam, một prompt đóng băng, không fine-tune), chúng tôi tìm thấy khoảng cách đủ điều kiện: 0 trong số 16 cấu hình (4 tác vụ $\times$ 4 mô hình) vượt qua (được xác minh bằng cách kiểm tra đầu ra thô và hành vi bộ phân tích cú pháp). Chẩn đoán ngưỡng quyết định logprob (T1/T3/T4; T2 qua khảo sát độ dài ngữ cảnh/phân tầng) tách các lỗi thành thiếu năng lực và các lỗi có thể xử lý bằng cách thay đổi ngưỡng giải mã (4 chế độ). Lượng tử hóa về 4-bit (RTN/GPTQ/AWQ) gây ra thiệt hại phụ thuộc vào m
Nguồn
Lịch sử nội dung (10)
- 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưuNghiên cứu đo lường khoảng cách về khả năng đáp ứng microtask để xác định thời điểm một S…Các agent harness ngày càng muốn chạy các SLM cho các vi tác vụ xoay quanh một LLM lập kế…
- 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưuĐo lường khoảng cách về khả năng đáp ứng microtask: Khi nào một SLM có sẵn là đủ cho một …Đo lường khoảng cách đủ điều kiện của vi tác vụ: Khi nào một SLM có sẵn là đủ cho một age…
- 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưuNghiên cứu đo lường khoảng cách về khả năng đáp ứng microtask để xác định thời điểm một S…Nghiên cứu đo lường khoảng cách về khả năng đáp ứng microtask để xác định thời điểm một S…
- 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưuĐo lường khoảng cách đủ điều kiện cho microtask: Khi nào một SLM có sẵn là đủ cho một age…Đo lường khoảng cách về khả năng đáp ứng microtask: Khi nào một SLM có sẵn là đủ cho một …
- 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưuNghiên cứu đo lường khoảng trống đủ điều kiện microtask, xác định thời điểm một SLM off-t…Nghiên cứu đo lường khoảng cách về khả năng đáp ứng microtask để xác định thời điểm một S…
- 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưuĐo lường khoảng trống đủ điều kiện microtask: Khi nào một SLM off-the-shelf đủ cho một ha…Đo lường khoảng cách đủ điều kiện cho microtask: Khi nào một SLM có sẵn là đủ cho một age…
- 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưuNghiên cứu đo lường khoảng cách về khả năng thực hiện các microtask để xác định thời điểm…Nghiên cứu đo lường khoảng trống đủ điều kiện microtask, xác định thời điểm một SLM off-t…
- 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưuĐo lường khoảng cách đủ điều kiện thực hiện microtask: Khi nào SLM có sẵn là đủ cho một a…Đo lường khoảng trống đủ điều kiện microtask: Khi nào một SLM off-the-shelf đủ cho một ha…
- 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưuNghiên cứu đề xuất một phương pháp đo lường khoảng trống đủ điều kiện microtask, phân tíc…Nghiên cứu đo lường khoảng cách về khả năng thực hiện các microtask để xác định thời điểm…
- 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưuĐo lường Khoảng trống Đủ điều kiện Microtask: Khi nào SLM Sẵn có Đủ cho một Dây chuyền Ag…Đo lường khoảng cách đủ điều kiện thực hiện microtask: Khi nào SLM có sẵn là đủ cho một a…
Bản tin mỗi sáng
Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.
Telegram @aihomnay