Operasi model AI
Pemeriksaan memantau bahwa model yang mendukung layanan Anda tersedia dan merespons. Penyedia AI jarang jatuh sepenuhnya: lebih sering model dilepas dari publikasi, kunci berhenti bekerja, atau respons yang memakan waktu dua detik mulai memakan waktu empat puluh. Pemeriksaan HTTP biasa tidak akan memperhatikan ini — akan melihat situs penyedia yang berfungsi.
Apa yang akan diperiksa
Dipilih satu tingkat, bukan serangkaian tanda centang: mereka bersarang — "model merespons" tanpa "penyedia merespons" tidak pernah terjadi. Komposisi daftar tergantung pada penyedia: "model dimuat ke memori" hanya menawarkan server sendiri, karena tanda hanya memberikan itu.
| Tingkat | Apa yang diperiksa | Harga |
|---|---|---|
| Penyedia merespons | Penyedia mengembalikan daftar modelnya dan respons diurai. Menangkap layanan yang tidak dapat diakses, alamat yang salah, dan kunci yang ditarik kembali. | Gratis |
| Model ada di penyedia | Model yang ditentukan ada dalam daftar ini. Menangkap model yang dilepas dari publikasi dan model yang disubstitusi di server sendiri. | Gratis |
| Model dimuat ke memori | Model tidak hanya tercatat, tetapi disimpan oleh server di memori. Menangkap model yang dibuang karena tidak digunakan lebih awal daripada pengguna pertama yang menabraknya: model yang dibuang akan merespons, tetapi pertama-tama akan menghabiskan puluhan detik untuk naik. Hanya ada di server sendiri — penyedia publik tidak berbicara tentang memorinya. | Gratis |
| Model memproses permintaan | Permintaan pendek nyata dikirim ke model. Satu-satunya tingkat yang menangkap "ada dalam daftar, tetapi menolak untuk merespons permintaan" dan perlambatan model itu sendiri. | Ditagihkan |
Bidang formulir
| Bidang | Apa artinya | Apa yang ditentukan | Contoh |
|---|---|---|---|
| Nama | Nama pemeriksaan. | Tentukan model mana dan untuk apa yang penting bagi Anda. | Model dukungan |
| Grup | Memungkinkan untuk mengaitkan tugas dengan proyek atau bagian. | Pilih grup jika Anda ingin menjaga tugas proyek bersama-sama. | Proyek utama |
| Penyedia | Dialek API yang digunakan layanan Anda. | Pilih vendor dari daftar. Server Anda di Ollama dan LM Studio memiliki item terpisah: hanya mereka yang menunjukkan apakah model dimuat ke memori. Untuk semuanya yang lain — mesin lain, gateway, vendor yang kurang dikenal — ambil "OpenAI-compatible API". | OpenAI-compatible API |
| Alamat API | Tempat menghubungi. Ditanyakan ke API yang kompatibel dan server Anda — penyedia publik memiliki alamat mereka sendiri dan diketahui sebelumnya. | Apa yang harus dimasukkan dijelaskan di bawah kolom: API yang kompatibel memerlukan alamat dengan versi, server Anda — alamat tanpa jalur. | https://api.openai.com/v1 |
| Kunci API | Kunci yang digunakan untuk membuat permintaan. | Tempel kunci dari akun pribadi penyedia. Untuk GigaChat, ini adalah kunci otorisasi proyek — bukan ID klien atau rahasia secara terpisah. Untuk Yandex AI Studio — kunci API akun layanan. Server Anda mungkin tidak memiliki kunci sama sekali — biarkan kolom kosong; jika server dilindungi oleh proxy, masukkan tokennya. Saat mengubah tugas, kolom kosong berarti "biarkan kunci sebelumnya". | sk-… |
| Direktori | Direktori cloud tempat model beroperasi. Hanya ditanyakan dari Yandex AI Studio. | Masukkan pengenal direktori tempat akun layanan dengan kunci didaftarkan. Itu juga muncul dalam pengenal model setelah gpt://. |
b1g… |
| Versi API | Ruang lingkup akses kunci. Hanya ditanyakan dari GigaChat. | Pilih yang ditunjukkan di akun pribadi di sebelah kunci otorisasi: untuk individu, untuk bisnis dengan paket, atau dengan pembayaran sesuai penggunaan. Kunci dari satu versi tidak akan diterima di versi lain. | Individu |
| Model | Pengenal model yang dipantau. | Tentukan persis seperti yang dikembalikan penyedia dalam daftar model: pencocokan ketat. Pada server Anda, ini sering kali merupakan path atau alias, bukan nama pendek biasa. Di Yandex AI Studio, pengenal mencakup direktori: gpt://<direktori>/yandexgpt/latest. |
gpt-4o-mini |
| Apa yang diperiksa | Tingkat pemeriksaan dari yang dijelaskan di atas. Mana yang tersedia tergantung pada penyedia. | Mulai dari yang kedua. Sertakan yang terakhir ketika penting untuk tahu bahwa model benar-benar merespons, bukan hanya tercatat. | Model ada di penyedia |
| Jenis permintaan | Apa yang dilakukan model: dialog atau vektor. Hanya ditanyakan di tingkat terakhir. | Pilih apa yang dimaksudkan model. Permintaan dialog ke model embedding akan ditolak penyedia dengan sah, dan pemeriksaan akan gagal pada model yang sehat. | Permintaan dialog |
| Waktu tunggu | Berapa lama untuk pemeriksaan lengkap, di tingkat apa pun. Juga ambang batas: pemeriksaan yang lebih lama dianggap gagal — penyedia yang merespons tetapi lambat juga rusak. | Ambil dengan cadangan untuk beban dingin: server yang menjalankan model pada permintaan pertama merespons jauh lebih lambat dari biasanya. | 1 menit |
| Interval | Seberapa sering menjalankan pemeriksaan. | Pada tingkat gratis — sesuka Anda. Pada tingkat terakhir, ingatlah bahwa setiap pemeriksaan ditagihkan. | 5 menit |
| Kanal notifikasi | Tempat mengirim pesan tentang masalah dan pemulihan. | Tandai saluran tempat Anda benar-benar membaca notifikasi. | Telegram dan email |
| Laporan | Ringkasan berkala untuk tugas. | Aktifkan jika Anda ingin mendapatkan ikhtisar tanpa masuk ke panel secara manual. | Laporan mingguan |
Ketika peringatan akan datang
Peringatan akan datang jika pemeriksaan yang dipilih gagal:
- penyedia tidak dapat diakses, merespons dengan kesalahan, atau menolak kunci;
- model yang ditentukan tidak ada dalam daftar — mulai dari tingkat kedua;
- model ada, tetapi server tidak menyimpannya di memori — di tingkat "model dimuat ke memori";
- model merespons dengan penolakan — di tingkat terakhir;
- pemeriksaan lengkap memakan waktu lebih lama dari waktu tunggu — di tingkat apa pun.
Ketika pemeriksaan dilewati
Jika penyedia meminta Anda menghubungi lebih jarang, tugas tidak jatuh atau naik — pemeriksaan dilewati, dan status tetap sama. Ini adalah satu-satunya kasus seperti itu: pembatasan frekuensi berbicara tentang kebusukan kami sendiri, bukan model Anda. Semuanya yang lain — jaringan diam, kecelakaan penyedia, kunci ditolak — untuk tugas ini berarti model tidak bekerja.
Satu tugas — satu model
Memantau lima model adalah lima tugas. Dan jika Anda ingin memeriksa daftar model dengan sering, tetapi permintaan langsung jarang, buat dua tugas dengan tingkat dan interval berbeda: tugas memiliki satu interval dan satu uptime, dan dengan mencampur dua pertanyaan, Anda akan mendapatkan uptime yang tidak jelas.
Pengaturan notifikasi
Untuk setiap saluran notifikasi dalam tugas, parameter tambahan dapat ditentukan. Mereka hanya berlaku untuk peristiwa DOWN.
| Parameter | Apa yang dilakukan |
|---|---|
| Aktif | Mengizinkan atau melarang pengiriman notifikasi melalui saluran ini untuk tugas ini. |
| Tunda selama PRO | Menunda notifikasi pertama tentang DOWN selama waktu yang dipilih (hingga 12 jam). Nyaman untuk tidak menerima peringatan tentang kegagalan sementara. |
| Ulangi setiap PRO | Secara berkala mengulangi notifikasi sementara tugas tetap dalam status DOWN (hingga 1 jam di antara pengulangan). Cocok ketika penting untuk tidak melewatkan kegagalan berkepanjangan. |