Operação do modelo de IA

A verificação monitora se o modelo no qual seu serviço depende está disponível e respondendo. Os provedores de IA raramente caem completamente: mais frequentemente o modelo é removido da publicação, a chave deixa de funcionar ou a resposta que levava dois segundos agora leva quarenta. Uma verificação HTTP comum não notaria isso — ela veria o site do provedor funcionando.

O que verificar exatamente

Um nível é selecionado, não um conjunto de marcas: eles são aninhados — "modelo responde" sem "provedor responde" não acontece. A composição da lista depende do provedor: "modelo carregado em memória" oferece apenas seu próprio servidor, porque o sinal vem apenas dele.

Nível O que é verificado Preço
O provedor responde O provedor retorna uma lista de seus modelos e a resposta é analisada. Detecta serviço indisponível, endereço incorreto e chave revogada. Grátis
O modelo está no provedor A lista contém o modelo que você especificou. Detecta quando um modelo é removido da publicação ou substituído no servidor. Grátis
Modelo carregado em memória O modelo não apenas existe, mas é mantido em memória pelo servidor. Detecta um modelo descarregado pela inatividade antes que o primeiro usuário o alcance: descarregado responderá, mas primeiro gastará dezenas de segundos para carregar. Disponível apenas para servidor próprio — um fornecedor público não relata sobre sua memória. Grátis
O modelo executa a solicitação Uma solicitação curta real é enviada ao modelo. O único nível que detecta "está na lista, mas recusa solicitações" e lentidão do próprio modelo. Cobrado
O último nível custa dinheiro. Ele executa uma solicitação real ao modelo em cada verificação: o provedor a cobra, seu próprio servidor consome recursos. Uma verificação a cada minuto são mais de quarenta mil solicitações por mês. Não definimos limites: apenas você sabe quanto custa uma solicitação. Mas um intervalo maior faz sentido, a partir de 15 minutos. Por padrão, o segundo nível é selecionado, grátis.
Atenção: uma chave API normal é suficiente, aquela que você usa para acessar os modelos. Nenhuma chave administrativa da organização é necessária e não a solicitamos.
O identificador do modelo é comparado literalmente. A partir do segundo nível, procuramos no lista do provedor exatamente a string que você digitou. Alguns provedores têm identificadores com data de lançamento na lista, mas o nome curto funciona nas solicitações mas não está na lista — a verificação reportará que o modelo não existe, embora esteja vivo. Pegue o nome da lista do provedor, não do exemplo na documentação.
Seu próprio modelo em rede interna é inacessível. A verificação vem de nossos servidores, então um modelo em rede local ou atrás de VPN não o veremos — como ninguém de fora veria. Você pode monitorar o que está acessível pela internet.

Campos do formulário

Campo O que significa O que indicar Exemplo
Nome Nome da verificação. Especifique qual modelo e por que é importante. Modelo de suporte
Grupo Permite atribuir a tarefa a um projeto ou seção. Selecione um grupo se quiser manter as tarefas do projeto juntas. Projeto principal
Provedor Dialeto da API com o qual o serviço fala. Escolha o fornecedor da lista. Para seus próprios servidores em Ollama e LM Studio, existem itens separados: apenas eles mostram se o modelo está carregado em memória. Para tudo o mais — outro mecanismo, gateway, fornecedor menos conhecido — pegue "OpenAI-compatible API". OpenAI-compatible API
Endereço da API Onde se conectar. Solicitado de API compatível e de seu servidor — fornecedores públicos têm endereço próprio e conhecido. O que escrever está indicado abaixo do campo: API compatível precisa de endereço com versão, seu próprio servidor precisa de endereço sem caminho. https://api.openai.com/v1
Chave da API Chave para fazer a solicitação. Cole a chave da conta pessoal do provedor. Para GigaChat, é a chave de autorização do projeto — não o ID do cliente ou segredo separado. Para Yandex AI Studio — a chave API da conta de serviço. Para seu próprio servidor, talvez não haja chave — deixe o campo em branco; se o servidor estiver atrás de um proxy, insira seu token. Ao alterar a tarefa, campo vazio significa "manter a chave anterior". sk-…
Catálogo Catálogo em nuvem onde os modelos funcionam. Solicitado apenas para Yandex AI Studio. Digite o ID do catálogo onde a conta de serviço com a chave foi criada. Também é o que vem no ID do modelo após gpt://. b1g…
Versão da API Escopo de acesso da chave. Solicitado apenas para GigaChat. Escolha a listada em sua conta pessoal ao lado da chave de autorização: para pessoas físicas, para negócios com pacotes ou pagamento conforme o uso. Uma chave de uma versão não será aceita em outra. Pessoas físicas
Modelo Identificador do modelo que monitora. Especifique-o exatamente como o provedor fornece na lista de modelos: a comparação é rigorosa. Para seu próprio servidor, muitas vezes é um caminho ou alias, não um nome curto usual. Para Yandex AI Studio, o identificador inclui catálogo: gpt://<catalog>/yandexgpt/latest. gpt-4o-mini
O que verificar Nível de verificação dos descritos acima. Quais estão disponíveis depende do provedor. Comece com o segundo. Ative o último quando for importante saber que o modelo realmente responde, não apenas existe. O modelo está no provedor
Tipo de solicitação O que o modelo faz: diálogos ou vetores. Solicitado apenas no último nível. Escolha para que o modelo é feito. Uma solicitação de diálogo para um modelo de incorporação o provedor rejeitará legitimamente e a verificação falhará em um modelo saudável. Solicitação de diálogo
Tempo de espera Quanto tempo é alocado para toda a verificação, em qualquer nível. É também um limite: uma verificação mais longa é considerada uma falha — um provedor que responde, mas lentamente, também é defeituoso. Pegue com margem para carregamento a frio: um servidor que carrega o modelo na primeira solicitação responde notavelmente mais lentamente do que o normal. 1 minuto
Intervalo Com que frequência fazer a verificação. Em níveis gratuitos — como você desejar. No último, lembre-se que cada verificação é cobrada. 5 minutos
Canais de notificação Para onde enviar mensagens sobre problemas e recuperação. Marque os canais onde você realmente lê notificações. Telegram e email
Relatórios Resumos periódicos da tarefa. Ative se desejar receber uma visão geral sem entrar manualmente no painel. Relatório semanal

Quando o alarme soa

O alarme soa se a verificação selecionada falhar:

  • provedor indisponível, respondeu com erro ou rejeitou a chave;
  • nenhum modelo especificado na lista — a partir do segundo nível;
  • modelo existe, mas o servidor não o mantém em memória — no nível "modelo carregado em memória";
  • modelo respondeu com falha — no último nível;
  • verificação inteira levou mais tempo que o permitido — em qualquer nível.

Quando a verificação é ignorada

Se o provedor solicitou verificações menos frequentes, a tarefa não cai e não sobe — a verificação é ignorada e o status permanece o mesmo. Este é o único caso: uma limitação de frequência diz sobre nossa própria intrusão, não sobre seu modelo. Tudo o mais — rede silenciosa, falha do provedor, chave rejeitada — para esta tarefa significa que o modelo não está funcionando.

Uma tarefa — um modelo

Monitorar cinco modelos são cinco tarefas. E se quiser verificar a lista de modelos frequentemente mas fazer solicitações reais raramente, crie duas tarefas com níveis diferentes e intervalos diferentes: uma tarefa tem um intervalo e um uptime, misturando duas perguntas você obtém um uptime sobre o qual não está claro de quem é.

Configuração de notificações

Para cada canal de notificação na tarefa, é possível definir parâmetros adicionais. Eles valem apenas para eventos DOWN.

Parâmetro O que faz
Ativado Permite ou proíbe notificações neste canal para esta tarefa.
Atrasar por PRO Atrasa a primeira notificação de DOWN pelo tempo selecionado (até 12 horas). Útil para não receber alertas sobre falhas temporárias.
Repetir a cada PRO Repete periodicamente a notificação enquanto a tarefa permanece em DOWN (até 1 hora entre repetições). Adequado quando é importante não perder um downtime prolongado.
Os parâmetros "Atrasar" e "Repetir" não afetam eventos UP e notificações de recuperação.
Para a lista de tipos de tarefas