Các LLM ngày càng có sẵn các chế độ suy nghĩ tường minh, nhưng phía đối lập là chế độ không-suy nghĩ lại ít được chú ý hơn. Nghiên cứu này khảo sát hành vi không-suy nghĩ của LLM theo hai trục. Thứ nhất, cách đo lường hành vi không-suy nghĩ. Các nghiên cứu trước thường xác định hành vi này thông qua các chỉ số thay thế như tắt chế độ suy nghĩ hoặc không có chuỗi suy luận dài. Những chỉ số này không đáng tin cậy vì chế độ suy nghĩ bị tắt vẫn có thể sinh ra suy luận, trong khi các chuỗi dài có thể chứa phần đệm thay vì suy luận thực sự. Thay vào đó, nghiên cứu chuẩn hóa mỗi phản hồi thành một chuỗi trước câu trả lời và câu trả lời cuối cùng, rồi đánh giá ở ba cấp độ gồm tỷ lệ Empty-Thinking Rate cho độ tuân thủ nghiêm ngặt chỉ trả lời, độ tương quan Question-Pre-answer Relevance dựa trên câu hỏi và chuỗi trước câu trả lời, cùng tỷ lệ Explicit Inference Rate do LLM chấm điểm để xác định suy luận tường minh hiện hữu. Kết hợp lại, các thước đo này giúp phân biệt rõ đầu ra chỉ gồm câu trả lời, văn bản có liên quan nhưng không mang tính suy luận, và văn bản có suy luận tường minh. Thứ hai, hành vi không-suy nghĩ thay đổi ra sao theo tác vụ và mô hình. Nhóm nghiên cứu đánh giá sáu can thiệp prompt trên sáu LLM với các câu hỏi dạng Boolean, trắc nghiệm và mở.
Nguồn chính
- SOURCEhuggingface.co