Hoạt động mô hình AI

Kiểm tra theo dõi rằng mô hình mà dịch vụ của bạn dựa vào có sẵn và phản hồi. Các nhà cung cấp AI hiếm khi bị sụp đổ hoàn toàn: thường xuyên mô hình bị gỡ khỏi xuất bản, khóa không còn hoạt động hoặc phản hồi, mất hai giây, bắt đầu mất bốn mươi giây. Kiểm tra HTTP thường không sẽ nhận thấy điều này — nó sẽ thấy trang web nhà cung cấp hoạt động.

Chính xác để kiểm tra

Một cấp độ được chọn, không phải một bộ các tích chọn: chúng lồng vào nhau — "mô hình phản hồi" mà không "nhà cung cấp phản hồi" không bao giờ xảy ra. Thành phần danh sách phụ thuộc vào nhà cung cấp: "mô hình được nạp vào bộ nhớ" chỉ đề xuất máy chủ của riêng bạn, bởi vì dấu hiệu chỉ từ nó.

Cấp độ Những gì được kiểm tra Giá
Nhà cung cấp phản hồi Nhà cung cấp đưa ra danh sách các mô hình của mình và phản hồi được phân tích cú pháp. Bắt được dịch vụ không khả dụng, địa chỉ không hợp lệ và khóa bị thu hồi. Miễn phí
Mô hình ở nhà cung cấp Danh sách này chứa mô hình mà bạn chỉ định. Bắt được gỡ bỏ mô hình khỏi xuất bản và mô hình thay thế trên máy chủ của riêng bạn. Miễn phí
Mô hình được nạp vào bộ nhớ Mô hình không chỉ được liệt kê, mà còn được máy chủ giữ trong bộ nhớ. Bắt mô hình bị gỡ bỏ do không sử dụng sớm hơn khi nó gặp người dùng đầu tiên: gỡ bỏ sẽ phản hồi, nhưng trước tiên sẽ dành hàng chục giây để nâng cấp. Chỉ có máy chủ của riêng bạn — nhà cung cấp công cộng không nói về bộ nhớ của họ. Miễn phí
Mô hình thực hiện yêu cầu Một yêu cầu ngắn thực sẽ đến mô hình. Cấp độ duy nhất bắt được "nó nằm trong danh sách, nhưng nó từ chối yêu cầu" và làm chậm mô hình chính nó. Tính phí
Cấp độ cuối cùng có chi phí. Nó thực hiện một yêu cầu thực sẽ để mô hình ở mỗi kiểm tra: nhà cung cấp tính phí cho nó, trên máy chủ của riêng bạn nó tiêu tốn tài nguyên. Kiểm tra mỗi phút — đó là hơn bốn mươi nghìn yêu cầu mỗi tháng. Chúng tôi không đặt giới hạn: bạn biết chi phí của yêu cầu — nhưng khoảng thời gian hợp lý từ 15 phút. Theo mặc định, cấp độ thứ hai được chọn, miễn phí.
Lưu ý: một khóa API thông thường là đủ, mà bạn đã gọi các mô hình. Khóa quản trị viên của tổ chức không bắt buộc, và chúng tôi không yêu cầu nó.
Mã định danh mô hình được kiểm tra theo từng chữ cái. Bắt đầu từ cấp độ thứ hai, chúng tôi tìm kiếm danh sách nhà cung cấp chính xác chuỗi bạn nhập. Một phần nhà cung cấp trong danh sách có các định danh với ngày phát hành, và tên ngắn hoạt động trong yêu cầu, nhưng nó không nằm trong danh sách — và kiểm tra sẽ báo cáo rằng mô hình không có, mặc dù mô hình còn sống. Lấy tên từ danh sách nhà cung cấp, không phải từ ví dụ trong tài liệu.
Mô hình của riêng bạn trên mạng nội bộ không khả dụng. Kiểm tra đến từ các máy chủ của chúng tôi, vì vậy mô hình được nâng cấp trên mạng cục bộ hoặc phía sau VPN, chúng tôi sẽ không nhìn thấy — cũng như sẽ không nhìn thấy từ bên ngoài. Theo dõi có thể được truy cập từ Internet.

Trường biểu mẫu

Trường Ý nghĩa Nên điền gì Ví dụ
Tên Tên của kiểm tra. Chỉ rõ mô hình nào và lý do nó quan trọng với bạn. Mô hình hỗ trợ
Nhóm Cho phép gán tác vụ vào dự án hoặc phần. Chọn nhóm nếu muốn giữ các tác vụ dự án cùng nhau. Dự án chính
Nhà cung cấp Bản sao của API mà dịch vụ sử dụng. Chọn nhà cung cấp từ danh sách. Máy chủ của riêng bạn trên Ollama và LM Studio có các mục riêng biệt: chỉ họ cho biết mô hình được nạp vào bộ nhớ. Cho tất cả những thứ khác — động cơ khác, cổng, nhà cung cấp ít được biết — lấy "API tương thích OpenAI". API tương thích OpenAI
Địa chỉ API Nơi gọi. Được hỏi cho API tương thích và máy chủ của riêng bạn — nhà cung cấp công cộng có địa chỉ của riêng họ và được biết trước. Những gì chính xác để điền được gợi ý bên dưới trường: API tương thích cần địa chỉ với phiên bản, máy chủ của riêng bạn — địa chỉ không có đường dẫn. https://api.openai.com/v1
Khóa API Khóa yêu cầu với. Dán khóa từ tài khoản cá nhân của nhà cung cấp. Cho GigaChat đây là khóa ủy quyền của dự án — không phải mã định danh khách hàng và không phải bí mật riêng biệt. Cho Yandex AI Studio — khóa API của tài khoản dịch vụ. Máy chủ của riêng bạn có thể không có khóa nào cả — sau đó để trường trống; nếu máy chủ bị đóng bằng proxy, nhập mã thông báo của nó. Khi sửa đổi tác vụ, trường trống có nghĩa là "giữ khóa cũ". sk-…
Thư mục Thư mục đám mây nơi mô hình hoạt động. Được hỏi chỉ từ Yandex AI Studio. Nhập mã định danh thư mục nơi tài khoản dịch vụ với khóa được tạo. Nó cũng nằm trong mã định danh mô hình sau gpt://. b1g…
Phiên bản API Phạm vi truy cập khóa. Được hỏi chỉ từ GigaChat. Chọn được chỉ định trong tài khoản cá nhân bên cạnh khóa ủy quyền: cho cá nhân, cho kinh doanh với gói hoặc thanh toán trả tiền. Khóa của một phiên bản sẽ không được chấp nhận ở phiên bản khác. Cá nhân
Mô hình Mã định danh mô hình để theo dõi. Chỉ định nó chính xác như nhà cung cấp đưa ra nó trong danh sách mô hình: kiểm tra nghiêm ngặt. Trên máy chủ của riêng bạn, đó là thường là đường dẫn hoặc bí danh, chứ không phải tên ngắn quen thuộc. Cho Yandex AI Studio, mã định danh bao gồm thư mục: gpt://<thư mục>/yandexgpt/latest. gpt-4o-mini
Để kiểm tra Cấp độ kiểm tra từ những cái được mô tả ở trên. Những cái nào có sẵn tùy thuộc vào nhà cung cấp. Bắt đầu với thứ hai. Bật cái cuối cùng khi quan trọng biết rằng mô hình chính xác phản hồi, không chỉ được liệt kê. Mô hình ở nhà cung cấp
Loại yêu cầu Mô hình làm gì: hội thoại hoặc vectơ. Được hỏi chỉ ở cấp độ cuối cùng. Chọn những gì mô hình được thiết kế cho. Yêu cầu hội thoại để mô hình nhúng nhà cung cấp sẽ từ chối, và kiểm tra sẽ thất bại ngay cả trên mô hình tốt. Yêu cầu hội thoại
Thời gian chờ Bao nhiêu dành cho kiểm tra trong tổng thể, ở bất kỳ cấp độ nào. Nó cũng là ngưỡng: kiểm tra lâu hơn được coi là từ chối — nhà cung cấp, người phản hồi, nhưng chậm cũng bị hỏng. Lấy với lề cho tải lạnh: máy chủ nâng cấp mô hình trên yêu cầu đầu tiên phản hồi chậm hơn bình thường. 1 phút
Khoảng thời gian Bao thường để chạy kiểm tra. Trên cấp độ miễn phí — như bạn muốn. Ở cái cuối cùng hãy nhớ rằng mỗi kiểm tra được tính phí. 5 phút
Kênh thông báo Nơi gửi tin nhắn về vấn đề và khôi phục. Đánh dấu các kênh bạn thực sự đọc thông báo. Telegram và email
Báo cáo Tóm tắt định kỳ theo tác vụ. Bật nếu muốn nhận tổng quan mà không cần vào bảng điều khiển thủ công. Báo cáo hàng tuần

Khi nào báo động

Cảnh báo sẽ đến nếu kiểm tra đã chọn không vượt qua:

  • nhà cung cấp không khả dụng, trả lời lỗi hoặc từ chối khóa;
  • mô hình được chỉ định không trong danh sách — bắt đầu từ cấp độ thứ hai;
  • mô hình nằm ở đó, nhưng máy chủ không giữ nó trong bộ nhớ — trên cấp độ "mô hình được nạp vào bộ nhớ";
  • mô hình trả lời từ chối — ở cái cuối cùng;
  • kiểm tra toàn bộ mất thời gian chờ — trên bất kỳ cấp độ nào.

Khi nào bỏ qua kiểm tra

Nếu nhà cung cấp yêu cầu gọi ít thường xuyên hơn, tác vụ không gặp sự cố và không đi lên — kiểm tra bị bỏ qua, và trạng thái vẫn giữ nguyên. Đây là trường hợp duy nhất như vậy: giới hạn tần suất nói về sự được kiềm chế của chính chúng tôi, không mô hình của bạn. Mọi thứ khác — mạng yên tĩnh, thảm họa của nhà cung cấp, khóa bị từ chối — đối với tác vụ này và có nghĩa là mô hình không hoạt động.

Một tác vụ — một mô hình

Theo dõi năm mô hình — đây là năm tác vụ. Và nếu bạn muốn kiểm tra danh sách mô hình thường xuyên, nhưng yêu cầu sống hiếm khi, hãy tạo hai tác vụ với các cấp độ khác nhau và các khoảng thời gian khác nhau: tác vụ một khoảng thời gian và uptime, và trộn hai câu hỏi, bạn sẽ nhận được uptime, về những gì không rõ ràng, ai của nó.

Thiết lập thông báo

Cho mỗi kênh thông báo trong tác vụ, bạn có thể đặt các thông số bổ sung. Chúng chỉ áp dụng cho sự kiện DOWN.

Tham số Làm gì
Bật Cho phép hoặc cấm gửi thông báo qua kênh này cho tác vụ này.
Hoãn lại đến PRO Hoãn lại thông báo DOWN đầu tiên trong thời gian chọn (tối đa 12 giờ). Tiện lợi để tránh thông báo về sự cố ngắn hạn.
Lặp lại sau PRO Lặp lại thông báo định kỳ, trong khi tác vụ vẫn ở trạng thái DOWN (tối đa 1 giờ giữa các lần lặp). Phù hợp khi quan trọng không bỏ lỡ sự cố kéo dài.
Các tham số "Hoãn lại" và "Lặp lại" không ảnh hưởng đến sự kiện UP và thông báo khôi phục.
Về danh sách các loại tác vụ