Działanie modelu AI
Sprawdzenie monitoruje, czy model, od którego zależy twoja usługa, jest dostępna i odpowiada. Dostawcy AI rzadko padają całkowicie: częściej model jest usuwany z publikacji, klucz przestaje działać lub odpowiedź, która zajmowała dwie sekundy, zaczyna zajmować czterdzieści. Zwykłe sprawdzenie HTTP tego nie zauważy — zobaczy działającą witrynę dostawcy.
Co dokładnie sprawdzać
Wybierany jest jeden poziom, a nie zestaw opcji: są zagnieżdżone — „model odpowiada" bez „dostawca odpowiada" się nie zdarza. Skład listy zależy od dostawcy: „model załadowany do pamięci" oferuje tylko swój serwer, ponieważ tylko on wysyła taki sygnał.
| Poziom | Co się sprawdza | Cena |
|---|---|---|
| Dostawca odpowiada | Dostawca zwraca listę swoich modeli i odpowiedź jest analizowana. Chwyta niedostępną usługę, błędny adres i unieważniony klucz. | Bezpłatnie |
| Model jest dostępny u dostawcy | Na liście modeli dostawcy znajduje się wskazany model. Chwyta usunięcie modelu z publikacji i zmianę modelu na własnym serwerze. | Bezpłatnie |
| Model załadowany do pamięci | Model nie tylko jest wymieniony, ale serwer przechowuje go w pamięci. Chwyta wyładowany z powodu bezczynności model zanim napotka go pierwszy użytkownik: wyładowany odpowie, ale najpierw poświęci dziesiątki sekund na uruchomienie. Tylko serwer - publiczny dostawca nie opowiada o swojej pamięci. | Bezpłatnie |
| Model wykonuje żądanie | Do modelu przesyłane jest krótkie rzeczywiste żądanie. Jedyny poziom, który chwyta „na liście jest, ale na żądanie odpowiada odmową" i spowolnienie samego modelu. | Taryfizowane |
Pola formularza
| Pole | Co oznacza | Co wpisać | Przykład |
|---|---|---|---|
| Nazwa | Nazwa sprawdzenia. | Wskaż, jaki model i po co jest ci potrzebny. | Model wsparcia |
| Grupa | Umożliwia przypisanie zadania do projektu lub sekcji. | Wybierz grupę, jeśli chcesz trzymać zadania razem po projekcie. | Projekt główny |
| Dostawca | Dialekt API, z którym komunikuje się usługa. | Wybierz dostawcę z listy. Twoje serwery z Ollama i LM Studio mają osobne pozycje: tylko one pokazują, czy model jest załadowany w pamięć. Dla wszystkich pozostałych — inny silnik, brama, mniej znany dostawca — bierz „OpenAI-kompatybilny API". | OpenAI-kompatybilny API |
| Adres API | Dokąd kontaktować. Jest pytany dla kompatybilnego API i własnego serwera — dla publicznych dostawców adres jest znany z góry. | Co dokładnie wpisać, jest wskazane pod polem: kompatybilny API potrzebuje adresu z wersją, własny serwer — adres bez ścieżki. | https://api.openai.com/v1 |
| Klucz API | Klucz, którym robi się żądanie. | Wstaw klucz z osobistego konta dostawcy. W GigaChat to klucz autoryzacji projektu — nie identyfikator klienta ani sekret z osobna. W Yandex AI Studio — klucz API konta usługowego. Na własnym serwerze może nie być klucza wcale — wtedy zostaw pole puste; jeśli serwer jest chroniony proxym, wstaw jego token. Zmieniając zadanie, puste pole oznacza „pozostaw poprzedni klucz". | sk-… |
| Katalog | Katalog chmury, w którym działają modele. Pytane tylko w Yandex AI Studio. | Wpisz identyfikator katalogu, w którym zostało założone konto usługowe z kluczem. To samo znajduje się w identyfikatorze modelu po gpt://. |
b1g… |
| Wersja API | Zakres dostępu klucza. Pytane tylko w GigaChat. | Wybierz tę, która jest wskazana w osobistym koncie obok klucza autoryzacji: dla osób fizycznych, dla biznesu z pakietami lub płacenia za faktyczne wykorzystanie. Klucz jednej wersji drugi nie zaakceptuje. | Osoby fizyczne |
| Model | Identyfikator modelu, który monitorujemy. | Podaj go dokładnie tak, jak dostawca go zwraca na liście modeli: porównanie jest ścisłe. Na własnym serwerze to często ścieżka lub alias, a nie znane krótkie imię. W Yandex AI Studio identyfikator zawiera katalog: gpt://<katalog>/yandexgpt/latest. |
gpt-4o-mini |
| Co sprawdzać | Poziom sprawdzenia z opisanych powyżej. Które z nich są dostępne, zależy od dostawcy. | Zacznij od drugiego. Ostatni włączaj, gdy ważne jest wiedzieć, że model rzeczywiście odpowiada, a nie tylko jest wymieniony. | Model jest dostępny u dostawcy |
| Typ żądania | Czym zajmuje się model: dialogiem lub wektorami. Pytane tylko na ostatnim poziomie. | Wybierz to, do czego model jest przeznaczony. Żądanie dialogowe do modelu osadzania dostawca słusznie odrzuci i sprawdzenie padnie na zdatnym modelu. | Żądanie dialogowe |
| Czas oczekiwania | Ile czasu jest zarezerwowane na całe sprawdzenie, na każdym poziomie. Jest to też próg: sprawdzenie, które trwa dłużej, jest traktowane jako odmowa — dostawca, który odpowiada, ale powoli, też jest niesprawny. | Bierz z zapasem na zimne uruchomienie: serwer podnoszący model na pierwsze żądanie odpowiada znacznie dłużej niż zwykle. | 1 minuta |
| Interwał | Jak często wykonywać sprawdzenie. | Na bezpłatnych poziomach — jak chcesz. Na ostatnim pamiętaj, że każde sprawdzenie jest taryfizowane. | 5 minut |
| Kanały powiadomień | Dokąd wysyłać wiadomości o problemie i odzyskaniu. | Zaznacz kanały, w których naprawdę czytasz powiadomienia. | Telegram i email |
| Raporty | Okresowe podsumowania zadania. | Włącz, jeśli chcesz otrzymywać przegląd bez ręcznego logowania do panelu. | Raport tygodniowy |
Kiedy przychodzi alarm
Alarm przychodzi, jeśli wybrane sprawdzenie nie przeszło:
- dostawca jest niedostępny, odpowiedział błędem lub odrzucił klucz;
- wskazanego modelu nie ma na liście — od drugiego poziomu;
- model jest, ale serwer nie przechowuje go w pamięci — na poziomie „model załadowany do pamięci";
- model odpowiedział odmową — na ostatnim;
- całe sprawdzenie zajęło więcej czasu oczekiwania — na każdym poziomie.
Kiedy sprawdzenie jest pomijane
Jeśli dostawca poprosił o kontaktowanie rzadziej, zadanie nie pada i nie unosi się — sprawdzenie jest pomijane, a status pozostaje poprzedni. To jedyny taki przypadek: ograniczenie częstości mówi o naszej własnej natarczywości, a nie o twoim modelu. Wszystko inne — milcząca sieć, awaria dostawcy, odrzucony klucz — dla tego zadania oznacza, że model nie działa.
Jedno zadanie — jeden model
Monitorowanie pięciu modeli to pięć zadań. A jeśli chcesz sprawdzać listę modeli często, a żywe żądanie rzadko, załóż dwa zadania z różnymi poziomami i różnymi interwałami: zadanie ma jeden interwał i jeden czas dostępności, a mieszając dwa pytania, otrzymasz czas dostępności, o którym nie wiadomo, czyj to.
Konfiguracja powiadomień
Dla każdego kanału powiadomień w zadaniu można ustawić dodatkowe parametry. Działają one tylko dla zdarzeń DOWN.
| Parametr | Co robi |
|---|---|
| Włączony | Pozwala lub zabrania wysyłania powiadomień po tym kanale dla tego zadania. |
| Opóźnij na PRO | Opóźnia pierwsze powiadomienie o DOWN na wybrany czas (do 12 godzin). Wygodnie, aby nie otrzymywać powiadomienia o krótkotrwałych awariach. |
| Powtarzaj przez PRO | Okresowo powtarza powiadomienie, dopóki zadanie pozostaje w stanie DOWN (do 1 godziny między powtórzeniami). Przydaje się, gdy ważne jest nie przegapić długotrwałą awarię. |