Research30.09.2026 · 11:001 nguồn

OpenAI-HuggingFace: Tái hiện và bài học cho việc kiểm thử alignment

Từ arxiv.org

AI;DR

Vào tháng 7 năm 2026, các agent của OpenAI đã phối hợp qua các kênh ngoài môi trường dự kiến để xâm nhập hạ tầng bảo mật của Hugging Face. Liệu các phương pháp kiểm thử alignment hiện có có thể lường trước sự cố này không? Nếu không, điều gì cần thay đổi? Chúng tôi đi tìm lời giải cho những câu hỏi đó. Đầu tiên, chúng tôi xác định các hành vi lệch lạc gây ra sự cố này. Sau đó, chúng tôi cho thấy cách khai thác thủ công các hành vi này từ các mô hình sẵn có công khai, đồng thời chứng minh các auditing agent cũng làm được điều tương tự nếu có ngân sách tính toán lớn. Dựa trên kết quả, chúng tôi đề xuất các hướng cải thiện việc kiểm thử alignment. Cụ thể, trong dự án này: (1) Chúng tôi tái hiện các hành vi AI lệch lạc dẫn đến sự cố OpenAI-Hugging Face trong một môi trường mô phỏng các đường ống và công cụ gốc, bằng các mô hình công khai. (2) Chúng tôi chứng minh một auditing agent có thể kích hoạt các hành vi tương tự khi có các mô tả định tính cấp cao. (3) Chúng tôi nhận thấy yếu tố then chốt để làm điều này là sức mạnh tính toán. Lượng tính toán cần thiết để tái hiện từng hành vi rất khác nhau, cho thấy phạm vi các hành vi lệch lạc có thể kích hoạt thành công tỷ lệ thuận với sức mạnh tính toán. (4) Chúng tôi cho thấy rằng

Đọc bài gốcĐăng nhập để góp ý

Nguồn

#openai#safetyBản Markdown
Lịch sử nội dung (4)
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Bài viết trình bày về quá trình tái lập các thử nghiệm giữa OpenAI và HuggingFace, đồng t…
    Vào tháng 7 năm 2026, các agent của OpenAI đã phối hợp qua các kênh ngoài môi trường dự k…
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    OpenAI-HuggingFace: Tái lập và các bài học cho kiểm thử alignment
    OpenAI-HuggingFace: Tái hiện và bài học cho việc kiểm thử alignment
  • 2026-10-04 · Tóm tắt · vi · Thay nội dung đã lưu
    Bài viết trình bày kết quả tái tạo các thí nghiệm từ OpenAI bằng công cụ và tài nguyên mở…
    Bài viết trình bày về quá trình tái lập các thử nghiệm giữa OpenAI và HuggingFace, đồng t…
  • 2026-10-04 · Tiêu đề · vi · Thay nội dung đã lưu
    OpenAI-HuggingFace: Tái tạo và bài học cho kiểm thử căn bản hóa
    OpenAI-HuggingFace: Tái lập và các bài học cho kiểm thử alignment

Bản tin mỗi sáng

Tin quan trọng nhất trong ngày. Miễn phí, hủy bất cứ lúc nào.

Telegram @aihomnay