Full-stack verification là xu hướng mới

Tôi làm việc tại giao điểm của AI, Software Engineering và Programming Languages. Hiện tại, tôi đang áp dụng Formal Methods cho Agents hướng tới AI Safety. Gần đây có nhiều thông báo về việc formal verification phần cứng và phần mềm, cả dùng AI và cho các hệ thống AI. Điểm chung là mục tiêu đạt được full-stack formalization, trên toàn bộ stack phần mềm hoặc kết hợp phần mềm và phần cứng. Trước đây, verification chỉ thực hiện trên lõi nhỏ của phần mềm hoặc mô hình đơn giản hóa. Ví dụ, ngôn ngữ access-control Cedar của AWS có bản Rust chạy production và bản tham chiếu (trước là Dafny, sau là Lean) đã được verify tính đúng đắn. Một cách là phát triển Cedar hoàn toàn bằng Lean, biên dịch sang C và triển khai code C tạo ra trong production. Ngoài model formal, ta viết implementation tối ưu và đầy đủ tính năng (xử lý lỗi, message cẩn thận, parser nhiều định dạng, v.v.) bằng Lean, sau đó chứng minh hai cái tương đương. Lợi ích chính là ta verify tính tương đương giữa code và model triển khai chứ không chỉ test. Tuy nhiên, viết ứng dụng production bằng Lean và triển khai code C tạo ra có nhược điểm lớn. Lean là ngôn ngữ mới nên nguồn developer hạn chế và thiếu thư viện hữu ích như các ngôn ngữ chính thống. Các từ khóa giữ lại: AI, Formal, Methods, Agents, Safety, AWS, Cedar, Rust, Dafny, Lean, agent