Semantic Caching tìm kiếm truy vấn đã lưu gần nghĩa với yêu cầu mới để sử dụng lại phản hồi thay vì gọi model. Cơ chế này thường dùng embedding và tìm kiếm tương đồng, tuy nhiên các câu gần nghĩa chưa chắc đã phù hợp với cùng một câu trả lời. Cần kiểm tra quyền, ngữ cảnh, độ mới và chất lượng trước khi kích hoạt.
- Cơ chế Semantic Caching: Cache thông thường khớp theo key chính xác, trong khi semantic cache chuyển văn bản thành vector, tìm vector gần trong chỉ mục để xác định có phản hồi nào đủ giống để tái sử dụng.
- Thuộc tính cần quản lý: Mỗi quyết định dùng cache cần đủ thông tin để tái hiện và xóa kết quả sai. Các thuộc tính quan trọng bao gồm query và embedding, cache key/ngữ cảnh, điểm tương đồng, payload được lưu, thời hạn, invalidation, kiểm soát truy cập và telemetry.
- Quyết định sử dụng cache: Yêu cầu thiết kế cần xem xét các câu hỏi như cache key nào ảnh hưởng đến câu trả lời, ngưỡng similarity nào giữ đủ hit mà không trộn lẫn điều kiện khác, và ai biết khi nào cần xóa cache.
