Działanie modelu AI

Sprawdzenie monitoruje, czy model, od którego zależy twoja usługa, jest dostępna i odpowiada. Dostawcy AI rzadko padają całkowicie: częściej model jest usuwany z publikacji, klucz przestaje działać lub odpowiedź, która zajmowała dwie sekundy, zaczyna zajmować czterdzieści. Zwykłe sprawdzenie HTTP tego nie zauważy — zobaczy działającą witrynę dostawcy.

Co dokładnie sprawdzać

Wybierany jest jeden poziom, a nie zestaw opcji: są zagnieżdżone — „model odpowiada" bez „dostawca odpowiada" się nie zdarza. Skład listy zależy od dostawcy: „model załadowany do pamięci" oferuje tylko swój serwer, ponieważ tylko on wysyła taki sygnał.

Poziom Co się sprawdza Cena
Dostawca odpowiada Dostawca zwraca listę swoich modeli i odpowiedź jest analizowana. Chwyta niedostępną usługę, błędny adres i unieważniony klucz. Bezpłatnie
Model jest dostępny u dostawcy Na liście modeli dostawcy znajduje się wskazany model. Chwyta usunięcie modelu z publikacji i zmianę modelu na własnym serwerze. Bezpłatnie
Model załadowany do pamięci Model nie tylko jest wymieniony, ale serwer przechowuje go w pamięci. Chwyta wyładowany z powodu bezczynności model zanim napotka go pierwszy użytkownik: wyładowany odpowie, ale najpierw poświęci dziesiątki sekund na uruchomienie. Tylko serwer - publiczny dostawca nie opowiada o swojej pamięci. Bezpłatnie
Model wykonuje żądanie Do modelu przesyłane jest krótkie rzeczywiste żądanie. Jedyny poziom, który chwyta „na liście jest, ale na żądanie odpowiada odmową" i spowolnienie samego modelu. Taryfizowane
Ostatni poziom kosztuje pieniądze. Wykonuje rzeczywiste żądanie do modelu przy każdym sprawdzeniu: dostawca je taryfizuje, na własnym serwerze zużywa zasoby. Sprawdzenie co minutę to ponad czterdzieści tysięcy żądań miesięcznie. Nie narzucamy ograniczeń: tylko ty wiesz, ile kosztuje żądanie — ale interwał rozsądnie brać od 15 minut. Domyślnie wybrany jest drugi poziom, bezpłatny.
Zwróć uwagę: wystarczy zwykły klucz API, którym już kontaktujesz się z modelami. Klucz administracyjny organizacji nie jest potrzebny i go nie prosimy.
Identyfikator modelu jest porównywany dosłownie. Od drugiego poziomu szukamy na liście dostawcy dokładnie tego ciągu, który wpisałeś. U części dostawców na liście znajdują się identyfikatory z datą wydania, a krótka nazwa w żądaniach działa, ale na liście nie jest wymieniona — i sprawdzenie powie, że modelu nie ma, choć model żyje. Bierz imię z listy dostawcy, a nie z przykładu w dokumentacji.
Twój model w sieci wewnętrznej jest niedostępny. Sprawdzenie odbywa się z naszych serwerów, dlatego model podłączony w sieci lokalnej lub za VPN nas nie widać — jak nie widziałby go nikt z zewnątrz. Możesz monitorować to, co jest dostępne z internetu.

Pola formularza

Pole Co oznacza Co wpisać Przykład
Nazwa Nazwa sprawdzenia. Wskaż, jaki model i po co jest ci potrzebny. Model wsparcia
Grupa Umożliwia przypisanie zadania do projektu lub sekcji. Wybierz grupę, jeśli chcesz trzymać zadania razem po projekcie. Projekt główny
Dostawca Dialekt API, z którym komunikuje się usługa. Wybierz dostawcę z listy. Twoje serwery z Ollama i LM Studio mają osobne pozycje: tylko one pokazują, czy model jest załadowany w pamięć. Dla wszystkich pozostałych — inny silnik, brama, mniej znany dostawca — bierz „OpenAI-kompatybilny API". OpenAI-kompatybilny API
Adres API Dokąd kontaktować. Jest pytany dla kompatybilnego API i własnego serwera — dla publicznych dostawców adres jest znany z góry. Co dokładnie wpisać, jest wskazane pod polem: kompatybilny API potrzebuje adresu z wersją, własny serwer — adres bez ścieżki. https://api.openai.com/v1
Klucz API Klucz, którym robi się żądanie. Wstaw klucz z osobistego konta dostawcy. W GigaChat to klucz autoryzacji projektu — nie identyfikator klienta ani sekret z osobna. W Yandex AI Studio — klucz API konta usługowego. Na własnym serwerze może nie być klucza wcale — wtedy zostaw pole puste; jeśli serwer jest chroniony proxym, wstaw jego token. Zmieniając zadanie, puste pole oznacza „pozostaw poprzedni klucz". sk-…
Katalog Katalog chmury, w którym działają modele. Pytane tylko w Yandex AI Studio. Wpisz identyfikator katalogu, w którym zostało założone konto usługowe z kluczem. To samo znajduje się w identyfikatorze modelu po gpt://. b1g…
Wersja API Zakres dostępu klucza. Pytane tylko w GigaChat. Wybierz tę, która jest wskazana w osobistym koncie obok klucza autoryzacji: dla osób fizycznych, dla biznesu z pakietami lub płacenia za faktyczne wykorzystanie. Klucz jednej wersji drugi nie zaakceptuje. Osoby fizyczne
Model Identyfikator modelu, który monitorujemy. Podaj go dokładnie tak, jak dostawca go zwraca na liście modeli: porównanie jest ścisłe. Na własnym serwerze to często ścieżka lub alias, a nie znane krótkie imię. W Yandex AI Studio identyfikator zawiera katalog: gpt://<katalog>/yandexgpt/latest. gpt-4o-mini
Co sprawdzać Poziom sprawdzenia z opisanych powyżej. Które z nich są dostępne, zależy od dostawcy. Zacznij od drugiego. Ostatni włączaj, gdy ważne jest wiedzieć, że model rzeczywiście odpowiada, a nie tylko jest wymieniony. Model jest dostępny u dostawcy
Typ żądania Czym zajmuje się model: dialogiem lub wektorami. Pytane tylko na ostatnim poziomie. Wybierz to, do czego model jest przeznaczony. Żądanie dialogowe do modelu osadzania dostawca słusznie odrzuci i sprawdzenie padnie na zdatnym modelu. Żądanie dialogowe
Czas oczekiwania Ile czasu jest zarezerwowane na całe sprawdzenie, na każdym poziomie. Jest to też próg: sprawdzenie, które trwa dłużej, jest traktowane jako odmowa — dostawca, który odpowiada, ale powoli, też jest niesprawny. Bierz z zapasem na zimne uruchomienie: serwer podnoszący model na pierwsze żądanie odpowiada znacznie dłużej niż zwykle. 1 minuta
Interwał Jak często wykonywać sprawdzenie. Na bezpłatnych poziomach — jak chcesz. Na ostatnim pamiętaj, że każde sprawdzenie jest taryfizowane. 5 minut
Kanały powiadomień Dokąd wysyłać wiadomości o problemie i odzyskaniu. Zaznacz kanały, w których naprawdę czytasz powiadomienia. Telegram i email
Raporty Okresowe podsumowania zadania. Włącz, jeśli chcesz otrzymywać przegląd bez ręcznego logowania do panelu. Raport tygodniowy

Kiedy przychodzi alarm

Alarm przychodzi, jeśli wybrane sprawdzenie nie przeszło:

  • dostawca jest niedostępny, odpowiedział błędem lub odrzucił klucz;
  • wskazanego modelu nie ma na liście — od drugiego poziomu;
  • model jest, ale serwer nie przechowuje go w pamięci — na poziomie „model załadowany do pamięci";
  • model odpowiedział odmową — na ostatnim;
  • całe sprawdzenie zajęło więcej czasu oczekiwania — na każdym poziomie.

Kiedy sprawdzenie jest pomijane

Jeśli dostawca poprosił o kontaktowanie rzadziej, zadanie nie pada i nie unosi się — sprawdzenie jest pomijane, a status pozostaje poprzedni. To jedyny taki przypadek: ograniczenie częstości mówi o naszej własnej natarczywości, a nie o twoim modelu. Wszystko inne — milcząca sieć, awaria dostawcy, odrzucony klucz — dla tego zadania oznacza, że model nie działa.

Jedno zadanie — jeden model

Monitorowanie pięciu modeli to pięć zadań. A jeśli chcesz sprawdzać listę modeli często, a żywe żądanie rzadko, załóż dwa zadania z różnymi poziomami i różnymi interwałami: zadanie ma jeden interwał i jeden czas dostępności, a mieszając dwa pytania, otrzymasz czas dostępności, o którym nie wiadomo, czyj to.

Konfiguracja powiadomień

Dla każdego kanału powiadomień w zadaniu można ustawić dodatkowe parametry. Działają one tylko dla zdarzeń DOWN.

Parametr Co robi
Włączony Pozwala lub zabrania wysyłania powiadomień po tym kanale dla tego zadania.
Opóźnij na PRO Opóźnia pierwsze powiadomienie o DOWN na wybrany czas (do 12 godzin). Wygodnie, aby nie otrzymywać powiadomienia o krótkotrwałych awariach.
Powtarzaj przez PRO Okresowo powtarza powiadomienie, dopóki zadanie pozostaje w stanie DOWN (do 1 godziny między powtórzeniami). Przydaje się, gdy ważne jest nie przegapić długotrwałą awarię.
Parametry „Opóźnij" i „Powtarzaj" nie wpływają na zdarzenia UP i powiadomienia o odzyskaniu.
Do listy typów zadań