Tối ưu chi phí và độ trễ với Amazon Bedrock prompt caching

Prompt caching trong Amazon Bedrock có thể giảm chi phí token đầu vào lên đến 90% khi bạn liên tục gửi cùng một ngữ cảnh đến các mô hình nền tảng. Bài viết hướng dẫn qua sáu kịch bản prompt caching thực tế bằng Converse API: nội dung tin nhắn, system prompt, định nghĩa công cụ, TTL hỗn hợp, cách ly tenant và tích hợp LangChain.