Model Gateway là lớp trung gian quản lý các yêu cầu từ ứng dụng đến một hoặc nhiều mô hình AI. Nó có khả năng áp dụng xác thực, quota, điều hướng, timeout và telemetry theo cấu hình đã định. Gateway đặc biệt hữu ích khi có nhiều ứng dụng cần một chính sách quản lý tập trung; tuy nhiên, nó cũng có thể làm tăng độ trễ, tạo điểm lỗi và tăng công việc vận hành.
Gateway hoạt động giữa client và endpoint để thực thi các chính sách đã được cấu hình.
Model Gateway đứng ở đâu?
Trong trường hợp không có gateway, mỗi dịch vụ có thể gọi trực tiếp tới nhà cung cấp model. Cách tiếp cận này phù hợp cho các thử nghiệm nhỏ, nhưng khi số lượng ứng dụng tăng lên, mỗi nhóm có thể tự quản lý API key, giới hạn yêu cầu, ghi log và xử lý lỗi theo cách riêng. Khi cần chính sách dùng chung hoặc quản lý nhiều endpoint, nhóm có thể triển khai một gateway giữa ứng dụng và các model.
Gateway không phải là model và không cải thiện đầu ra của AI. Nó chỉ điều khiển luồng yêu cầu và áp dụng các quy tắc vận hành; chất lượng câu trả lời vẫn phụ thuộc vào model, prompt, nguồn dữ liệu, truy xuất, kiểm tra và cách mà người dùng sử dụng. Một gateway không thể ngăn chặn prompt injection chỉ vì yêu cầu đã đi qua nó, trừ khi có một hệ thống kiểm soát cụ thể được thiết kế và đánh giá.
Thành phần và thuộc tính cần định nghĩa
Trước khi lựa chọn sản phẩm, cần ghi lại hợp đồng giữa ứng dụng và gateway. Những thuộc tính sau sẽ giúp tránh việc tạo ra một proxy mơ hồ mà sau này không ai biết chính sách hoạt động ở đâu.
- Ứng dụng/tenant: Định danh client, môi trường, owner và hạn mức riêng.
- Danh tính và quyền: Cách thức xác thực, ánh xạ role, model mà client được phép gọi và dữ liệu được phép gửi đi.
- Model/deployment: Tên logic, nhà cung cấp, phiên bản, khả năng, giới hạn context và điều kiện tương thích.
- Chính sách routing: Điều hướng theo tác vụ, môi trường, region, độ nhạy dữ liệu hoặc ngưỡng chất lượng đã đánh giá.
- Quota và giới hạn: Yêu cầu, token, concurrency, kích thước payload và cách xử lý lỗi khi vượt quá giới hạn.
- Timeout và retry: Thời hạn từ đầu đến cuối, lỗi được retry, số lần thử, backoff và xử lý yêu cầu không idempotent.
- Telemetry: Request ID, tuyến/model, độ trễ, trạng thái, usage nếu có và quy định về redaction.
- Vòng đời policy: Người phê duyệt, phiên bản cấu hình, cách triển khai, rollback và lịch rà soát.
Luồng xử lý một request
Một yêu cầu đi qua gateway thường có thể được mô tả theo thứ tự sau. Chi tiết có thể khác nhau tùy theo nền tảng, nhưng việc vẽ luồng giúp đội ứng dụng và hạ tầng tìm đúng nơi để đặt mỗi kiểm soát.
- Ứng dụng tạo yêu cầu. Yêu cầu bao gồm tác vụ, đầu vào cần thiết, metadata tenant và chỉ định model logic nếu hợp đồng cho phép. Ứng dụng cần loại bỏ dữ liệu thừa trước khi gọi gateway.
- Gateway xác thực client. Hệ thống xác nhận ứng dụng hoặc dịch vụ gọi là hợp lệ.