Guardrails cho ứng dụng AI là gì?
Guardrails trong ứng dụng AI là các cơ chế kỹ thuật và quy trình nhằm giới hạn dữ liệu, quyền và hành động. Việc kiểm soát đầu vào, truy xuất, công cụ và đầu ra diễn ra ở nhiều lớp khác nhau, yêu cầu con người duyệt các hành động có rủi ro. Prompt không thể thay thế cho phân quyền hay kiểm thử.
Các lớp kiểm soát trong ứng dụng
- Đầu vào và nội dung không tin cậy: Kiểm tra kiểu dữ liệu, kích thước, mã hóa, tệp và trường bắt buộc trước khi gọi model. Tách lời chỉ dẫn của ứng dụng khỏi nội dung người dùng hoặc tài liệu được đọc.
- Danh tính, quyền và giới hạn công cụ: Xác thực người dùng trước truy xuất; kiểm tra ủy quyền ở backend; chỉ cấp quyền tối thiểu.
- Retrieval và nguồn dữ liệu: Chỉ truy xuất tài liệu có quyền xem và phù hợp mục tiêu. Kiểm tra trạng thái, ngày hiệu lực, chủ sở hữu.
- Đầu ra và hành động tiếp theo: Xác thực JSON/schema, escaping nội dung hiển thị, loại bỏ HTML/script không phép.
- Giám sát, audit và chuyển giao: Thu thập metric lỗi, phản hồi và dấu hiệu vượt policy với dữ liệu tối thiểu cần thiết.