Industry23.09.2026 · 20:14

Nhãn dán LLM rẻ hơn

Từ entropicthoughts.com

AI;DR

Đi trên đường? Hãy nghe phiên bản được AI đọc của bài viết này. Tôi có một dự án nhỏ nơi tôi cần gán nhãn cho các commit là "bảo trì" hoặc "phát triển mới". Cách hiển nhiên để làm điều đó là với một LLM rẻ nhưng tương đối có khả năng, như gpt 5.6 Luna. Tôi đã thử nghiệm trên một tập nhỏ các commit và tự tin xác minh nhãn của nó, và nó đư ra cùng một nhãn như tôi sẽ làm cho toàn bộ tập thử nghiệm. Điều đó đủ tốt để tôi triển khai trên quy mô rộng hơn. Nếu chúng ta có công cụ CLI của Simon Willison gọi là llm được cài đặt (và bạn nên – nó tuyệt vời!), chúng ta có thể gọi nó trong một pipe từ Perl và đọc phản hồi của nó. Script của tôi có một vòng lặp mà thử lại yêu cầu vài lần. Tôi có kinh nghiệm với các mô hình đôi khi không tuân thủ hướng dẫn định dạng đầu ra, thường được giải quyết bằng cách thử lại một hoặc hai lần. Vòng lặp của tôi dừng lại ở năm lần thử, và tôi không chắc nó bao giờ cần thiết. Luna là một mô hình có khả năng hơn những mô hình đã gặp khó khăn trong việc tuân thủ định dạng đầu ra, nhưng mà không có sổ sách đó, mã nguồn cho việc này đủ đơn giản. Nhược điểm của cách tiếp cận này là tôi muốn gán nhãn cho khoảng 21.000 commit, và điều này mở ra một quy trình con shell cho mỗi commit đơn lẻ. Vì prompt được thiết kế để chứa chủ yếu là token đầu vào và không nhiều token đầu ra (xem Appendix C để biết chi tiết), những cuộc gọi này rẻ về mặt tiền bạc, nhưng độ trễ không vui, ở khoảng 1.5 giây cho mỗi lần gọi. Nếu tôi thực sự quan tâm đến độ trễ, tôi sẽ không sử dụng Perl để gọi một CLI Python yêu cầu OpenRouter gửi yêu cầu của tôi đến OpenAI, mà hãy gửi yêu cầu trực tiếp đến OpenAI.

Đọc bài gốcĐăng nhập để góp ý

Nguồn

+ 1 nguồn khác
  1. THẢO LUẬNkqrlobste.rs
#llm#data-annotation#llm-pricingBản Markdown
Lịch sử nội dung (2)
  • 2026-10-16 · Tóm tắt · vi · Thay nội dung đã lưu
    NVIDIA đã giới thiệu một phương pháp mới để dán nhãn dữ liệu cho các mô hình ngôn ngữ lớn…
    Đi trên đường? Hãy nghe phiên bản được AI đọc của bài viết này. Tôi có một dự án nhỏ nơi …
  • 2026-10-16 · Tiêu đề · vi · Thay nội dung đã lưu
    Dán nhãn LLM rẻ hơn
    Nhãn dán LLM rẻ hơn

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay