Operasi model AI

Pemeriksaan memantau bahwa model yang mendukung layanan Anda tersedia dan merespons. Penyedia AI jarang jatuh sepenuhnya: lebih sering model dilepas dari publikasi, kunci berhenti bekerja, atau respons yang memakan waktu dua detik mulai memakan waktu empat puluh. Pemeriksaan HTTP biasa tidak akan memperhatikan ini — akan melihat situs penyedia yang berfungsi.

Apa yang akan diperiksa

Dipilih satu tingkat, bukan serangkaian tanda centang: mereka bersarang — "model merespons" tanpa "penyedia merespons" tidak pernah terjadi. Komposisi daftar tergantung pada penyedia: "model dimuat ke memori" hanya menawarkan server sendiri, karena tanda hanya memberikan itu.

Tingkat Apa yang diperiksa Harga
Penyedia merespons Penyedia mengembalikan daftar modelnya dan respons diurai. Menangkap layanan yang tidak dapat diakses, alamat yang salah, dan kunci yang ditarik kembali. Gratis
Model ada di penyedia Model yang ditentukan ada dalam daftar ini. Menangkap model yang dilepas dari publikasi dan model yang disubstitusi di server sendiri. Gratis
Model dimuat ke memori Model tidak hanya tercatat, tetapi disimpan oleh server di memori. Menangkap model yang dibuang karena tidak digunakan lebih awal daripada pengguna pertama yang menabraknya: model yang dibuang akan merespons, tetapi pertama-tama akan menghabiskan puluhan detik untuk naik. Hanya ada di server sendiri — penyedia publik tidak berbicara tentang memorinya. Gratis
Model memproses permintaan Permintaan pendek nyata dikirim ke model. Satu-satunya tingkat yang menangkap "ada dalam daftar, tetapi menolak untuk merespons permintaan" dan perlambatan model itu sendiri. Ditagihkan
Tingkat terakhir memerlukan biaya. Ini membuat permintaan nyata ke model di setiap pemeriksaan: penyedia menagihnya, server sendiri menghabiskan sumber daya. Pemeriksaan per menit adalah lebih dari empat puluh ribu permintaan sebulan. Kami tidak menetapkan batasan: Anda hanya tahu berapa biaya permintaan — tetapi interval secara wajar dari 15 menit. Tingkat kedua dipilih secara default, gratis.
Perhatikan: kunci API biasa sudah cukup, yang Anda gunakan untuk mengakses model. Kunci administratif organisasi tidak diperlukan, dan kami tidak memintanya.
Pengenal model dicocokkan secara harfiah. Mulai dari tingkat kedua, kami mencari di daftar penyedia persis string yang Anda masukkan. Beberapa penyedia dalam daftar memiliki pengenal dengan tanggal rilis, dan nama pendek berfungsi dalam permintaan, tetapi tidak muncul dalam daftar — dan pemeriksaan akan melaporkan bahwa model tidak ada, padahal model masih hidup. Ambil nama dari daftar penyedia, bukan dari contoh dalam dokumentasi.
Model sendiri di jaringan internal tidak dapat diakses. Pemeriksaan berasal dari server kami, jadi model yang diangkat di jaringan lokal atau di balik VPN kami tidak akan melihat — seperti yang tidak akan dilihat siapa pun dari luar. Anda dapat memantau apa yang dapat diakses dari internet.

Bidang formulir

Bidang Apa artinya Apa yang ditentukan Contoh
Nama Nama pemeriksaan. Tentukan model mana dan untuk apa yang penting bagi Anda. Model dukungan
Grup Memungkinkan untuk mengaitkan tugas dengan proyek atau bagian. Pilih grup jika Anda ingin menjaga tugas proyek bersama-sama. Proyek utama
Penyedia Dialek API yang digunakan layanan Anda. Pilih vendor dari daftar. Server Anda di Ollama dan LM Studio memiliki item terpisah: hanya mereka yang menunjukkan apakah model dimuat ke memori. Untuk semuanya yang lain — mesin lain, gateway, vendor yang kurang dikenal — ambil "OpenAI-compatible API". OpenAI-compatible API
Alamat API Tempat menghubungi. Ditanyakan ke API yang kompatibel dan server Anda — penyedia publik memiliki alamat mereka sendiri dan diketahui sebelumnya. Apa yang harus dimasukkan dijelaskan di bawah kolom: API yang kompatibel memerlukan alamat dengan versi, server Anda — alamat tanpa jalur. https://api.openai.com/v1
Kunci API Kunci yang digunakan untuk membuat permintaan. Tempel kunci dari akun pribadi penyedia. Untuk GigaChat, ini adalah kunci otorisasi proyek — bukan ID klien atau rahasia secara terpisah. Untuk Yandex AI Studio — kunci API akun layanan. Server Anda mungkin tidak memiliki kunci sama sekali — biarkan kolom kosong; jika server dilindungi oleh proxy, masukkan tokennya. Saat mengubah tugas, kolom kosong berarti "biarkan kunci sebelumnya". sk-…
Direktori Direktori cloud tempat model beroperasi. Hanya ditanyakan dari Yandex AI Studio. Masukkan pengenal direktori tempat akun layanan dengan kunci didaftarkan. Itu juga muncul dalam pengenal model setelah gpt://. b1g…
Versi API Ruang lingkup akses kunci. Hanya ditanyakan dari GigaChat. Pilih yang ditunjukkan di akun pribadi di sebelah kunci otorisasi: untuk individu, untuk bisnis dengan paket, atau dengan pembayaran sesuai penggunaan. Kunci dari satu versi tidak akan diterima di versi lain. Individu
Model Pengenal model yang dipantau. Tentukan persis seperti yang dikembalikan penyedia dalam daftar model: pencocokan ketat. Pada server Anda, ini sering kali merupakan path atau alias, bukan nama pendek biasa. Di Yandex AI Studio, pengenal mencakup direktori: gpt://<direktori>/yandexgpt/latest. gpt-4o-mini
Apa yang diperiksa Tingkat pemeriksaan dari yang dijelaskan di atas. Mana yang tersedia tergantung pada penyedia. Mulai dari yang kedua. Sertakan yang terakhir ketika penting untuk tahu bahwa model benar-benar merespons, bukan hanya tercatat. Model ada di penyedia
Jenis permintaan Apa yang dilakukan model: dialog atau vektor. Hanya ditanyakan di tingkat terakhir. Pilih apa yang dimaksudkan model. Permintaan dialog ke model embedding akan ditolak penyedia dengan sah, dan pemeriksaan akan gagal pada model yang sehat. Permintaan dialog
Waktu tunggu Berapa lama untuk pemeriksaan lengkap, di tingkat apa pun. Juga ambang batas: pemeriksaan yang lebih lama dianggap gagal — penyedia yang merespons tetapi lambat juga rusak. Ambil dengan cadangan untuk beban dingin: server yang menjalankan model pada permintaan pertama merespons jauh lebih lambat dari biasanya. 1 menit
Interval Seberapa sering menjalankan pemeriksaan. Pada tingkat gratis — sesuka Anda. Pada tingkat terakhir, ingatlah bahwa setiap pemeriksaan ditagihkan. 5 menit
Kanal notifikasi Tempat mengirim pesan tentang masalah dan pemulihan. Tandai saluran tempat Anda benar-benar membaca notifikasi. Telegram dan email
Laporan Ringkasan berkala untuk tugas. Aktifkan jika Anda ingin mendapatkan ikhtisar tanpa masuk ke panel secara manual. Laporan mingguan

Ketika peringatan akan datang

Peringatan akan datang jika pemeriksaan yang dipilih gagal:

  • penyedia tidak dapat diakses, merespons dengan kesalahan, atau menolak kunci;
  • model yang ditentukan tidak ada dalam daftar — mulai dari tingkat kedua;
  • model ada, tetapi server tidak menyimpannya di memori — di tingkat "model dimuat ke memori";
  • model merespons dengan penolakan — di tingkat terakhir;
  • pemeriksaan lengkap memakan waktu lebih lama dari waktu tunggu — di tingkat apa pun.

Ketika pemeriksaan dilewati

Jika penyedia meminta Anda menghubungi lebih jarang, tugas tidak jatuh atau naik — pemeriksaan dilewati, dan status tetap sama. Ini adalah satu-satunya kasus seperti itu: pembatasan frekuensi berbicara tentang kebusukan kami sendiri, bukan model Anda. Semuanya yang lain — jaringan diam, kecelakaan penyedia, kunci ditolak — untuk tugas ini berarti model tidak bekerja.

Satu tugas — satu model

Memantau lima model adalah lima tugas. Dan jika Anda ingin memeriksa daftar model dengan sering, tetapi permintaan langsung jarang, buat dua tugas dengan tingkat dan interval berbeda: tugas memiliki satu interval dan satu uptime, dan dengan mencampur dua pertanyaan, Anda akan mendapatkan uptime yang tidak jelas.

Pengaturan notifikasi

Untuk setiap saluran notifikasi dalam tugas, parameter tambahan dapat ditentukan. Mereka hanya berlaku untuk peristiwa DOWN.

Parameter Apa yang dilakukan
Aktif Mengizinkan atau melarang pengiriman notifikasi melalui saluran ini untuk tugas ini.
Tunda selama PRO Menunda notifikasi pertama tentang DOWN selama waktu yang dipilih (hingga 12 jam). Nyaman untuk tidak menerima peringatan tentang kegagalan sementara.
Ulangi setiap PRO Secara berkala mengulangi notifikasi sementara tugas tetap dalam status DOWN (hingga 1 jam di antara pengulangan). Cocok ketika penting untuk tidak melewatkan kegagalan berkepanjangan.
Parameter "Tunda" dan "Ulangi" tidak mempengaruhi peristiwa UP dan notifikasi pemulihan.
Ke daftar jenis tugas