Работа ИИ-модели
Проверка следит за тем, что модель, на которой держится ваш сервис, доступна и отвечает. Провайдеры ИИ редко падают целиком: чаще модель снимают с публикации, ключ перестаёт действовать или ответ, занимавший две секунды, начинает занимать сорок. Обычная HTTP-проверка этого не заметит — она увидит работающий сайт провайдера.
Что именно проверять
Выбирается одна ступень, а не набор отметок: они вложены — «модель отвечает» без «провайдер отвечает» не бывает. Состав списка зависит от провайдера: «модель поднята в память» предлагает только свой сервер, потому что признак отдаёт лишь он.
| Ступень | Что проверяется | Цена |
|---|---|---|
| Провайдер отвечает | Провайдер отдаёт список своих моделей, и ответ разбирается. Ловит недоступный сервис, неверный адрес и отозванный ключ. | Бесплатно |
| Модель есть у провайдера | В этом же списке есть указанная вами модель. Ловит снятие модели с публикации и подменённую модель на своём сервере. | Бесплатно |
| Модель поднята в память | Модель не просто числится, а держится сервером в памяти. Ловит выгруженную по простою модель раньше, чем на неё наткнётся первый пользователь: выгруженная ответит, но сперва потратит десятки секунд на подъём. Есть только у своего сервера — публичный вендор о своей памяти не рассказывает. | Бесплатно |
| Модель выполняет запрос | К модели уходит короткий настоящий запрос. Единственная ступень, которая ловит «в списке есть, а на запрос отвечает отказом» и замедление самой модели. | Тарифицируется |
Поля формы
| Поле | Что означает | Что указать | Пример |
|---|---|---|---|
| Название | Имя проверки. | Укажите, какая модель и для чего вам важна. | Модель поддержки |
| Группа | Позволяет отнести задачу к проекту или разделу. | Выберите группу, если хотите держать задачи по проекту вместе. | Основной проект |
| Провайдер | Диалект API, на котором разговаривает сервис. | Выберите вендора из списка. У своих серверов на Ollama и LM Studio есть отдельные пункты: только они показывают, поднята ли модель в память. Для всего остального — другой движок, шлюз, менее известный вендор — берите «OpenAI-совместимый API». | OpenAI-совместимый API |
| Адрес API | Куда обращаться. Спрашивается у совместимого API и у своего сервера — у публичных вендоров адрес свой и известен заранее. | Что именно вписать, подсказано под полем: совместимому API нужен адрес вместе с версией, своему серверу — адрес без пути. | https://api.openai.com/v1 |
| Ключ API | Ключ, которым делается запрос. | Вставьте ключ из личного кабинета провайдера. У GigaChat это ключ авторизации проекта — не идентификатор клиента и не секрет по отдельности. У Yandex AI Studio — API-ключ сервисного аккаунта. У своего сервера ключа может не быть вовсе — тогда оставьте поле пустым; если сервер закрыт прокси, впишите его токен. При изменении задачи пустое поле означает «оставить прежний ключ». | sk-… |
| Каталог | Каталог облака, в котором работают модели. Спрашивается только у Yandex AI Studio. | Впишите идентификатор каталога, в котором заведён сервисный аккаунт с ключом. Он же стоит в идентификаторе модели после gpt://. |
b1g… |
| Версия API | Область доступа ключа. Спрашивается только у GigaChat. | Выберите ту, что указана в личном кабинете рядом с ключом авторизации: для физических лиц, для бизнеса с пакетами или с оплатой по факту. Ключ одной версии в другой не примут. | Физические лица |
| Модель | Идентификатор модели, за которой следим. | Укажите его ровно так, как провайдер отдаёт его в списке моделей: сверка строгая. У своего сервера это часто путь или алиас, а не привычное короткое имя. У Yandex AI Studio идентификатор включает каталог: gpt://<каталог>/yandexgpt/latest. |
gpt-4o-mini |
| Что проверять | Ступень проверки из описанных выше. Какие из них доступны, зависит от провайдера. | Начните со второй. Последнюю включайте, когда важно знать, что модель именно отвечает, а не просто числится. | Модель есть у провайдера |
| Тип запроса | Чем занимается модель: диалогом или векторами. Спрашивается только у последней ступени. | Выберите то, для чего модель предназначена. Диалоговый запрос к эмбеддинг-модели провайдер законно отвергнет, и проверка упадёт на здоровой модели. | Диалоговый запрос |
| Время ожидания | Сколько отведено на проверку целиком, на любой ступени. Оно же порог: проверка дольше считается отказом — провайдер, который отвечает, но медленно, тоже неисправен. | Берите с запасом на холодную загрузку: сервер, поднимающий модель по первому запросу, отвечает заметно дольше обычного. | 1 минута |
| Интервал | Как часто выполнять проверку. | На бесплатных ступенях — как вам удобно. На последней помните, что каждая проверка тарифицируется. | 5 минут |
| Каналы уведомлений | Куда отправлять сообщения о проблеме и восстановлении. | Отметьте каналы, в которых вы реально читаете уведомления. | Telegram и email |
| Отчёты | Периодические сводки по задаче. | Включите, если хотите получать обзор без ручного входа в панель. | Еженедельный отчёт |
Когда придёт тревога
Тревога придёт, если выбранная проверка не прошла:
- провайдер недоступен, ответил ошибкой или отверг ключ;
- указанной модели нет в списке — начиная со второй ступени;
- модель есть, но сервер не держит её в памяти — на ступени «модель поднята в память»;
- модель ответила отказом — на последней;
- проверка целиком заняла дольше времени ожидания — на любой ступени.
Когда проверка пропускается
Если провайдер попросил обращаться реже, задача не падает и не поднимается — проверка пропускается, а статус остаётся прежним. Это единственный такой случай: ограничение частоты говорит о нашей собственной назойливости, а не о вашей модели. Всё остальное — молчащая сеть, авария у провайдера, отвергнутый ключ — для этой задачи и означает, что модель не работает.
Одна задача — одна модель
Следить за пятью моделями — это пять задач. И если хочется проверять список моделей часто, а живой запрос редко, заведите две задачи с разными ступенями и разными интервалами: у задачи один интервал и один аптайм, и смешав два вопроса, вы получите аптайм, про который непонятно, чей он.
Настройка уведомлений
Для каждого канала уведомлений в задаче можно задать дополнительные параметры. Они действуют только для DOWN-событий.
| Параметр | Что делает |
|---|---|
| Включён | Разрешает или запрещает отправку уведомлений по этому каналу для данной задачи. |
| Отложить на PRO | Задерживает первое уведомление о DOWN на выбранное время (до 12 часов). Удобно, чтобы не получать оповещения о кратковременных сбоях. |
| Повторять через PRO | Периодически повторяет уведомление, пока задача остаётся в статусе DOWN (до 1 часа между повторами). Подходит, когда важно не пропустить затяжной сбой. |