Hoạt động mô hình AI
Kiểm tra theo dõi rằng mô hình mà dịch vụ của bạn dựa vào có sẵn và phản hồi. Các nhà cung cấp AI hiếm khi bị sụp đổ hoàn toàn: thường xuyên mô hình bị gỡ khỏi xuất bản, khóa không còn hoạt động hoặc phản hồi, mất hai giây, bắt đầu mất bốn mươi giây. Kiểm tra HTTP thường không sẽ nhận thấy điều này — nó sẽ thấy trang web nhà cung cấp hoạt động.
Chính xác để kiểm tra
Một cấp độ được chọn, không phải một bộ các tích chọn: chúng lồng vào nhau — "mô hình phản hồi" mà không "nhà cung cấp phản hồi" không bao giờ xảy ra. Thành phần danh sách phụ thuộc vào nhà cung cấp: "mô hình được nạp vào bộ nhớ" chỉ đề xuất máy chủ của riêng bạn, bởi vì dấu hiệu chỉ từ nó.
| Cấp độ | Những gì được kiểm tra | Giá |
|---|---|---|
| Nhà cung cấp phản hồi | Nhà cung cấp đưa ra danh sách các mô hình của mình và phản hồi được phân tích cú pháp. Bắt được dịch vụ không khả dụng, địa chỉ không hợp lệ và khóa bị thu hồi. | Miễn phí |
| Mô hình ở nhà cung cấp | Danh sách này chứa mô hình mà bạn chỉ định. Bắt được gỡ bỏ mô hình khỏi xuất bản và mô hình thay thế trên máy chủ của riêng bạn. | Miễn phí |
| Mô hình được nạp vào bộ nhớ | Mô hình không chỉ được liệt kê, mà còn được máy chủ giữ trong bộ nhớ. Bắt mô hình bị gỡ bỏ do không sử dụng sớm hơn khi nó gặp người dùng đầu tiên: gỡ bỏ sẽ phản hồi, nhưng trước tiên sẽ dành hàng chục giây để nâng cấp. Chỉ có máy chủ của riêng bạn — nhà cung cấp công cộng không nói về bộ nhớ của họ. | Miễn phí |
| Mô hình thực hiện yêu cầu | Một yêu cầu ngắn thực sẽ đến mô hình. Cấp độ duy nhất bắt được "nó nằm trong danh sách, nhưng nó từ chối yêu cầu" và làm chậm mô hình chính nó. | Tính phí |
Trường biểu mẫu
| Trường | Ý nghĩa | Nên điền gì | Ví dụ |
|---|---|---|---|
| Tên | Tên của kiểm tra. | Chỉ rõ mô hình nào và lý do nó quan trọng với bạn. | Mô hình hỗ trợ |
| Nhóm | Cho phép gán tác vụ vào dự án hoặc phần. | Chọn nhóm nếu muốn giữ các tác vụ dự án cùng nhau. | Dự án chính |
| Nhà cung cấp | Bản sao của API mà dịch vụ sử dụng. | Chọn nhà cung cấp từ danh sách. Máy chủ của riêng bạn trên Ollama và LM Studio có các mục riêng biệt: chỉ họ cho biết mô hình được nạp vào bộ nhớ. Cho tất cả những thứ khác — động cơ khác, cổng, nhà cung cấp ít được biết — lấy "API tương thích OpenAI". | API tương thích OpenAI |
| Địa chỉ API | Nơi gọi. Được hỏi cho API tương thích và máy chủ của riêng bạn — nhà cung cấp công cộng có địa chỉ của riêng họ và được biết trước. | Những gì chính xác để điền được gợi ý bên dưới trường: API tương thích cần địa chỉ với phiên bản, máy chủ của riêng bạn — địa chỉ không có đường dẫn. | https://api.openai.com/v1 |
| Khóa API | Khóa yêu cầu với. | Dán khóa từ tài khoản cá nhân của nhà cung cấp. Cho GigaChat đây là khóa ủy quyền của dự án — không phải mã định danh khách hàng và không phải bí mật riêng biệt. Cho Yandex AI Studio — khóa API của tài khoản dịch vụ. Máy chủ của riêng bạn có thể không có khóa nào cả — sau đó để trường trống; nếu máy chủ bị đóng bằng proxy, nhập mã thông báo của nó. Khi sửa đổi tác vụ, trường trống có nghĩa là "giữ khóa cũ". | sk-… |
| Thư mục | Thư mục đám mây nơi mô hình hoạt động. Được hỏi chỉ từ Yandex AI Studio. | Nhập mã định danh thư mục nơi tài khoản dịch vụ với khóa được tạo. Nó cũng nằm trong mã định danh mô hình sau gpt://. |
b1g… |
| Phiên bản API | Phạm vi truy cập khóa. Được hỏi chỉ từ GigaChat. | Chọn được chỉ định trong tài khoản cá nhân bên cạnh khóa ủy quyền: cho cá nhân, cho kinh doanh với gói hoặc thanh toán trả tiền. Khóa của một phiên bản sẽ không được chấp nhận ở phiên bản khác. | Cá nhân |
| Mô hình | Mã định danh mô hình để theo dõi. | Chỉ định nó chính xác như nhà cung cấp đưa ra nó trong danh sách mô hình: kiểm tra nghiêm ngặt. Trên máy chủ của riêng bạn, đó là thường là đường dẫn hoặc bí danh, chứ không phải tên ngắn quen thuộc. Cho Yandex AI Studio, mã định danh bao gồm thư mục: gpt://<thư mục>/yandexgpt/latest. |
gpt-4o-mini |
| Để kiểm tra | Cấp độ kiểm tra từ những cái được mô tả ở trên. Những cái nào có sẵn tùy thuộc vào nhà cung cấp. | Bắt đầu với thứ hai. Bật cái cuối cùng khi quan trọng biết rằng mô hình chính xác phản hồi, không chỉ được liệt kê. | Mô hình ở nhà cung cấp |
| Loại yêu cầu | Mô hình làm gì: hội thoại hoặc vectơ. Được hỏi chỉ ở cấp độ cuối cùng. | Chọn những gì mô hình được thiết kế cho. Yêu cầu hội thoại để mô hình nhúng nhà cung cấp sẽ từ chối, và kiểm tra sẽ thất bại ngay cả trên mô hình tốt. | Yêu cầu hội thoại |
| Thời gian chờ | Bao nhiêu dành cho kiểm tra trong tổng thể, ở bất kỳ cấp độ nào. Nó cũng là ngưỡng: kiểm tra lâu hơn được coi là từ chối — nhà cung cấp, người phản hồi, nhưng chậm cũng bị hỏng. | Lấy với lề cho tải lạnh: máy chủ nâng cấp mô hình trên yêu cầu đầu tiên phản hồi chậm hơn bình thường. | 1 phút |
| Khoảng thời gian | Bao thường để chạy kiểm tra. | Trên cấp độ miễn phí — như bạn muốn. Ở cái cuối cùng hãy nhớ rằng mỗi kiểm tra được tính phí. | 5 phút |
| Kênh thông báo | Nơi gửi tin nhắn về vấn đề và khôi phục. | Đánh dấu các kênh bạn thực sự đọc thông báo. | Telegram và email |
| Báo cáo | Tóm tắt định kỳ theo tác vụ. | Bật nếu muốn nhận tổng quan mà không cần vào bảng điều khiển thủ công. | Báo cáo hàng tuần |
Khi nào báo động
Cảnh báo sẽ đến nếu kiểm tra đã chọn không vượt qua:
- nhà cung cấp không khả dụng, trả lời lỗi hoặc từ chối khóa;
- mô hình được chỉ định không trong danh sách — bắt đầu từ cấp độ thứ hai;
- mô hình nằm ở đó, nhưng máy chủ không giữ nó trong bộ nhớ — trên cấp độ "mô hình được nạp vào bộ nhớ";
- mô hình trả lời từ chối — ở cái cuối cùng;
- kiểm tra toàn bộ mất thời gian chờ — trên bất kỳ cấp độ nào.
Khi nào bỏ qua kiểm tra
Nếu nhà cung cấp yêu cầu gọi ít thường xuyên hơn, tác vụ không gặp sự cố và không đi lên — kiểm tra bị bỏ qua, và trạng thái vẫn giữ nguyên. Đây là trường hợp duy nhất như vậy: giới hạn tần suất nói về sự được kiềm chế của chính chúng tôi, không mô hình của bạn. Mọi thứ khác — mạng yên tĩnh, thảm họa của nhà cung cấp, khóa bị từ chối — đối với tác vụ này và có nghĩa là mô hình không hoạt động.
Một tác vụ — một mô hình
Theo dõi năm mô hình — đây là năm tác vụ. Và nếu bạn muốn kiểm tra danh sách mô hình thường xuyên, nhưng yêu cầu sống hiếm khi, hãy tạo hai tác vụ với các cấp độ khác nhau và các khoảng thời gian khác nhau: tác vụ một khoảng thời gian và uptime, và trộn hai câu hỏi, bạn sẽ nhận được uptime, về những gì không rõ ràng, ai của nó.
Thiết lập thông báo
Cho mỗi kênh thông báo trong tác vụ, bạn có thể đặt các thông số bổ sung. Chúng chỉ áp dụng cho sự kiện DOWN.
| Tham số | Làm gì |
|---|---|
| Bật | Cho phép hoặc cấm gửi thông báo qua kênh này cho tác vụ này. |
| Hoãn lại đến PRO | Hoãn lại thông báo DOWN đầu tiên trong thời gian chọn (tối đa 12 giờ). Tiện lợi để tránh thông báo về sự cố ngắn hạn. |
| Lặp lại sau PRO | Lặp lại thông báo định kỳ, trong khi tác vụ vẫn ở trạng thái DOWN (tối đa 1 giờ giữa các lần lặp). Phù hợp khi quan trọng không bỏ lỡ sự cố kéo dài. |