Работа ИИ-модели

Проверка следит за тем, что модель, на которой держится ваш сервис, доступна и отвечает. Провайдеры ИИ редко падают целиком: чаще модель снимают с публикации, ключ перестаёт действовать или ответ, занимавший две секунды, начинает занимать сорок. Обычная HTTP-проверка этого не заметит — она увидит работающий сайт провайдера.

Что именно проверять

Выбирается одна ступень, а не набор отметок: они вложены — «модель отвечает» без «провайдер отвечает» не бывает. Состав списка зависит от провайдера: «модель поднята в память» предлагает только свой сервер, потому что признак отдаёт лишь он.

Ступень Что проверяется Цена
Провайдер отвечает Провайдер отдаёт список своих моделей, и ответ разбирается. Ловит недоступный сервис, неверный адрес и отозванный ключ. Бесплатно
Модель есть у провайдера В этом же списке есть указанная вами модель. Ловит снятие модели с публикации и подменённую модель на своём сервере. Бесплатно
Модель поднята в память Модель не просто числится, а держится сервером в памяти. Ловит выгруженную по простою модель раньше, чем на неё наткнётся первый пользователь: выгруженная ответит, но сперва потратит десятки секунд на подъём. Есть только у своего сервера — публичный вендор о своей памяти не рассказывает. Бесплатно
Модель выполняет запрос К модели уходит короткий настоящий запрос. Единственная ступень, которая ловит «в списке есть, а на запрос отвечает отказом» и замедление самой модели. Тарифицируется
Последняя ступень стоит денег. Она выполняет настоящий запрос к модели на каждой проверке: у провайдера он тарифицируется, на своём сервере расходует ресурсы. Проверка раз в минуту — это больше сорока тысяч запросов в месяц. Ограничения мы не ставим: чего стоит запрос, знаете только вы, — но интервал разумно брать от 15 минут. По умолчанию выбрана вторая ступень, бесплатная.
Обратите внимание: достаточно обычного ключа API, которым вы и так обращаетесь к моделям. Административный ключ организации не нужен, и мы его не просим.
Идентификатор модели сверяется буквально. Начиная со второй ступени мы ищем в списке провайдера ровно ту строку, которую вы вписали. У части провайдеров в списке лежат идентификаторы с датой выпуска, а короткое имя в запросах работает, но в списке не значится — и проверка сообщит, что модели нет, хотя модель жива. Берите имя из списка провайдера, а не из примера в документации.
Своя модель во внутренней сети недоступна. Проверка идёт с наших серверов, поэтому модель, поднятую в локальной сети или за VPN, мы не увидим — как не увидел бы её никто снаружи. Следить можно за тем, что доступно из интернета.

Поля формы

Поле Что означает Что указать Пример
Название Имя проверки. Укажите, какая модель и для чего вам важна. Модель поддержки
Группа Позволяет отнести задачу к проекту или разделу. Выберите группу, если хотите держать задачи по проекту вместе. Основной проект
Провайдер Диалект API, на котором разговаривает сервис. Выберите вендора из списка. У своих серверов на Ollama и LM Studio есть отдельные пункты: только они показывают, поднята ли модель в память. Для всего остального — другой движок, шлюз, менее известный вендор — берите «OpenAI-совместимый API». OpenAI-совместимый API
Адрес API Куда обращаться. Спрашивается у совместимого API и у своего сервера — у публичных вендоров адрес свой и известен заранее. Что именно вписать, подсказано под полем: совместимому API нужен адрес вместе с версией, своему серверу — адрес без пути. https://api.openai.com/v1
Ключ API Ключ, которым делается запрос. Вставьте ключ из личного кабинета провайдера. У GigaChat это ключ авторизации проекта — не идентификатор клиента и не секрет по отдельности. У Yandex AI Studio — API-ключ сервисного аккаунта. У своего сервера ключа может не быть вовсе — тогда оставьте поле пустым; если сервер закрыт прокси, впишите его токен. При изменении задачи пустое поле означает «оставить прежний ключ». sk-…
Каталог Каталог облака, в котором работают модели. Спрашивается только у Yandex AI Studio. Впишите идентификатор каталога, в котором заведён сервисный аккаунт с ключом. Он же стоит в идентификаторе модели после gpt://. b1g…
Версия API Область доступа ключа. Спрашивается только у GigaChat. Выберите ту, что указана в личном кабинете рядом с ключом авторизации: для физических лиц, для бизнеса с пакетами или с оплатой по факту. Ключ одной версии в другой не примут. Физические лица
Модель Идентификатор модели, за которой следим. Укажите его ровно так, как провайдер отдаёт его в списке моделей: сверка строгая. У своего сервера это часто путь или алиас, а не привычное короткое имя. У Yandex AI Studio идентификатор включает каталог: gpt://<каталог>/yandexgpt/latest. gpt-4o-mini
Что проверять Ступень проверки из описанных выше. Какие из них доступны, зависит от провайдера. Начните со второй. Последнюю включайте, когда важно знать, что модель именно отвечает, а не просто числится. Модель есть у провайдера
Тип запроса Чем занимается модель: диалогом или векторами. Спрашивается только у последней ступени. Выберите то, для чего модель предназначена. Диалоговый запрос к эмбеддинг-модели провайдер законно отвергнет, и проверка упадёт на здоровой модели. Диалоговый запрос
Время ожидания Сколько отведено на проверку целиком, на любой ступени. Оно же порог: проверка дольше считается отказом — провайдер, который отвечает, но медленно, тоже неисправен. Берите с запасом на холодную загрузку: сервер, поднимающий модель по первому запросу, отвечает заметно дольше обычного. 1 минута
Интервал Как часто выполнять проверку. На бесплатных ступенях — как вам удобно. На последней помните, что каждая проверка тарифицируется. 5 минут
Каналы уведомлений Куда отправлять сообщения о проблеме и восстановлении. Отметьте каналы, в которых вы реально читаете уведомления. Telegram и email
Отчёты Периодические сводки по задаче. Включите, если хотите получать обзор без ручного входа в панель. Еженедельный отчёт

Когда придёт тревога

Тревога придёт, если выбранная проверка не прошла:

  • провайдер недоступен, ответил ошибкой или отверг ключ;
  • указанной модели нет в списке — начиная со второй ступени;
  • модель есть, но сервер не держит её в памяти — на ступени «модель поднята в память»;
  • модель ответила отказом — на последней;
  • проверка целиком заняла дольше времени ожидания — на любой ступени.

Когда проверка пропускается

Если провайдер попросил обращаться реже, задача не падает и не поднимается — проверка пропускается, а статус остаётся прежним. Это единственный такой случай: ограничение частоты говорит о нашей собственной назойливости, а не о вашей модели. Всё остальное — молчащая сеть, авария у провайдера, отвергнутый ключ — для этой задачи и означает, что модель не работает.

Одна задача — одна модель

Следить за пятью моделями — это пять задач. И если хочется проверять список моделей часто, а живой запрос редко, заведите две задачи с разными ступенями и разными интервалами: у задачи один интервал и один аптайм, и смешав два вопроса, вы получите аптайм, про который непонятно, чей он.

Настройка уведомлений

Для каждого канала уведомлений в задаче можно задать дополнительные параметры. Они действуют только для DOWN-событий.

Параметр Что делает
Включён Разрешает или запрещает отправку уведомлений по этому каналу для данной задачи.
Отложить на PRO Задерживает первое уведомление о DOWN на выбранное время (до 12 часов). Удобно, чтобы не получать оповещения о кратковременных сбоях.
Повторять через PRO Периодически повторяет уведомление, пока задача остаётся в статусе DOWN (до 1 часа между повторами). Подходит, когда важно не пропустить затяжной сбой.
Параметры «Отложить» и «Повторять» не влияют на UP-события и уведомления о восстановлении.
К списку типов задач