Bốn lựa chọn inference Amazon Bedrock ảnh hưởng đến chi phí

Hóa đơn inference Amazon Bedrock có thể tiếp tục tăng ngay cả sau khi người dùng tune prompt và logic ứng dụng. Bốn lựa chọn ở cấp độ request bao gồm cache duration, service tier, reasoning effort và maxTokens sẽ thay đổi số lượng token mà dịch vụ xử lý cùng với tỷ lệ áp dụng. Hãng cho thấy cách họ kiểm tra từng lựa chọn và cách xác minh hiệu ứng.