OpenAI giảm 94% thời gian tải đoạn chat dài trong bản nâng cấp hiệu năng lớn nhất cho Codex

Tuần tới, OpenAI sẽ triển khai đợt đại tu hạ tầng cho ChatGPT và Codex, cho phép hệ thống chỉ tải những phần hội thoại cần thiết thay vì phải render toàn bộ lịch sử trò chuyện. Thử nghiệm nội bộ trên một luồng chat 741 lượt trao đổi nặng 231 MB cho thấy thời gian tải trung bình giảm mạnh từ 27,6 giây xuống còn 1,66 giây. Bản nâng cấp cũng giảm 41% lượng bộ nhớ tiêu thụ và cắt giảm số request cần gửi từ 894 xuống chỉ còn 16.

Bằng cách giảm số mục hội thoại cần tải mỗi phiên từ 15.529 xuống còn 64, tình trạng giật lag và ngốn RAM khi cuộn trang đã được giải quyết triệt để. Kiến trúc mới này đồng thời đặt nền móng kỹ thuật cho các AI agent có thể vận hành liên tục trong thời gian dài.