Đo lường hiệu quả của AI Agent: Những KPI cần chú ý

Để đánh giá hiệu quả của AI Agent, cần kết hợp các yếu tố như chất lượng, tỷ lệ hoàn thành, thời gian, chi phí, lỗi và khả năng chuyển tiếp. Việc chọn KPI phải phù hợp với từng nhiệm vụ cụ thể, định nghĩa rõ ràng mẫu số và tiêu chí trước khi tiến hành thử nghiệm. So sánh kết quả với baseline trong các tình huống đại diện, bao gồm cả thời gian xem xét và báo cáo riêng các lỗi nghiêm trọng. Đánh giá AI agent cần cân nhắc cả chất lượng và chỉ số vận hành.

Mục lục

Nhóm sản phẩm xem KPI chất lượng chuyển người chi phí và thời gian của AI Agent

  • Bắt đầu từ nhiệm vụ
  • Nhóm KPI nên theo dõi
  • Định nghĩa chỉ số rõ ràng
  • Ví dụ đánh giá một agent
  • Điều kiện để so sánh công bằng
  • Sai lầm khi đo
  • Kế hoạch đo thử nghiệm
  • Nguồn tham khảo
  • Câu hỏi thường gặp

Bắt đầu từ nhiệm vụ

Quy trình đánh giá agent từ tập tình huống đến quyết định mở rộng

Trước khi chọn KPI, cần mô tả rõ nhiệm vụ mà agent đảm nhận, thông tin về người dùng, đầu vào được phép, đầu ra mong muốn và điểm dừng. Ví dụ, “Agent xử lý hỗ trợ khách hàng” là quá rộng để đo lường. Thay vào đó, mô tả chi tiết như “Agent tra cứu câu hỏi chính sách trong kho tài liệu đã duyệt, tạo câu trả lời có trích dẫn và chuyển nhân viên khi không tìm thấy nguồn” sẽ cụ thể hơn và cho phép kiểm tra tính đúng đắn, nguồn gốc, tỷ lệ chuyển tiếp và thời gian hoàn thành.

Đơn vị đo lường nên tương ứng với công việc cụ thể. Đó có thể là một câu hỏi, một hồ sơ, một phiên giao dịch hoặc một workflow đã kết thúc. Cần xác định rõ ràng khi nào một nhiệm vụ được coi là hoàn thành, thế nào là từ chối đúng, thế nào là chuyển người hợp lệ và có tính các lượt thử lại hay không.

Đo lường với mục tiêu ra quyết định. Nhóm có thể muốn biết liệu agent có giảm thiểu thao tác lặp lại, có đáp ứng chất lượng tối thiểu, hay có làm tăng tải kiểm tra của nhân viên không. Những câu hỏi khác nhau cần chỉ số khác nhau. Việc gom tất cả thành điểm “hiệu quả AI” thường che khuất sự đánh đổi giữa tốc độ, độ chính xác, chi phí và rủi ro.

Nhóm KPI nên theo dõi

Chuyên viên chấm chất lượng câu trả lời và quyết định chuyển người

  • Chất lượng đầu ra: Đánh giá mức độ phù hợp với đặc tả, độ chính xác dữ kiện, tính đầy đủ, sự hỗ trợ của nguồn gốc kết luận và tỷ lệ lỗi theo mức độ nghiêm trọng.
  • Hoàn thành nhiệm vụ: Số lượng công việc đạt tiêu chí hoàn thành trên tổng số công việc đủ điều kiện, tách biệt rõ hoàn tất tự động, hoàn tất sau chỉnh sửa và hoàn tất sau chuyển người.
  • Chuyển tiếp/escalation: Tỷ lệ agent chuyển đúng trường hợp cần người, tỷ lệ chuyển nhầm và các yêu cầu đáng lẽ phải chuyển nhưng agent tự trả lời.
  • Thời gian: Thời gian để đạt kết quả, thời gian nhân viên đọc/sửa, thời gian chờ người duyệt và tổng thời gian để hoàn tất. Thời gian phản hồi nhanh không đồng nghĩa với việc công việc kết thúc sớm.
  • Chi phí: Bao gồm chi phí model và dịch vụ, hạ tầng, đánh giá, vận hành và công sức review nếu tổ chức cần tính tổng chi phí. Nêu rõ phạm vi và kỳ tính.
  • An toàn và độ tin cậy: Lỗi quyền truy cập, trích dẫn sai, hành động vượt quyền, sự cố dữ liệu, lỗi lặp lại và mức độ ảnh hưởng.
  • Mức chấp nhận của người dùng: Tỷ lệ sử dụng tiếp, phản hồi người dùng, tỷ lệ sửa đầu ra và mức độ tin cậy được đo bằng phương pháp xác định. Không suy diễn sự hài lòng chỉ từ số lần mở chatbot.

Các chỉ số như tỷ lệ hoàn thành đạt chuẩn, chất lượng câu trả lời, tỷ lệ chuyển người đúng lúc, thời gian tiết kiệm ròng, chi phí trên nhiệm vụ đạt chuẩn và tỷ lệ lỗi nghiêm trọng đều cần được định nghĩa rõ ràng để tránh hiểu lầm.

↑