KI-Modell-Betrieb

Die Überprüfung überwacht, dass das Modell, auf dem Ihr Service läuft, verfügbar ist und antwortet. KI-Anbieter fallen selten komplett aus: Häufiger wird ein Modell aus der Veröffentlichung genommen, der Schlüssel funktioniert nicht mehr oder die Antwort, die zwei Sekunden dauerte, dauert jetzt vierzig. Eine normale HTTP-Überprüfung bemerkt das nicht – sie sieht nur den funktionierenden Anbieter-Website.

Was genau überprüfen

Es wird eine Stufe ausgewählt, nicht mehrere Kontrollkästchen: Sie sind verschachtelt – „Das Modell antwortet" gibt es nicht ohne „Der Anbieter antwortet". Die Liste hängt vom Anbieter ab: „Das Modell in den Speicher geladen" bietet nur sein Eigener Server, weil nur er dieses Zeichen gibt.

Stufe Was wird überprüft Fehlerrisiko
Der Anbieter antwortet Der Anbieter-Server erhält die Anfrage und gibt eine Antwort zurück, unabhängig vom Inhalt. Niedriges Risiko, aber sagt nicht aus, ob das Modell tatsächlich funktioniert.
Das Modell ist vorhanden Der Anbieter hat das Modell in seiner Liste, es ist nicht von der Veröffentlichung genommen, der Schlüssel ist gültig. Mittleres Risiko: Das Modell kann online sein, aber nicht reagieren.
Das Modell antwortet Das Modell führt eine echte Anfrage aus und gibt eine Antwort zurück. Timeout wird berücksichtigt. Hohes Risiko: Dies ist ein echter Request, der bei dem Anbieter berechnet wird und auf Ihrem eigenen Server Ressourcen verbraucht.
Das Modell in den Speicher geladen (nur lokale Server) Das Modell befindet sich im Arbeitsspeicher Ihres Servers und wartet auf Anfragen. Variabel: Wenn das Modell nicht im Speicher liegt, kann es bedeuten, dass die Instanz neu gestartet wurde oder der Speicherplatz voll ist.
Beachte: Wähle „Das Modell antwortet" mit Bedacht: Dies führt eine echte Anfrage durch, die bei dem Anbieter berechnet wird. Eine Überprüfung pro Minute bedeutet mehr als vierzigtausend Anfragen pro Monat. Wähle ein größeres Intervall, mindestens 15 Minuten.

Welchen Anbieter auswählen

Verbinde Deinen KI-API-Schlüssel mit PingWin:

  • OpenAI (ChatGPT) – GPT-4, GPT-3.5 und andere Modelle.
  • Anthropic (Claude) – Claude 3 und andere Modelle.
  • GigaChat (Yandex) – GigaChat-Modelle.
  • LM Studio – Lokal gehostete Modelle auf Ihrem Server.
  • Ollama – Leichte lokale Modelle.
  • OpenRouter – Zugriff auf Dutzende von Modellen über einen Schlüssel.
  • DeepSeek – DeepSeek-Modelle.

Wie einrichten

  1. Wähle den Anbieter.
  2. Wähle das Modell aus der Liste.
  3. Gebe die API-Adresse an (für remote) oder den Servernamen (für lokal).
  4. Gebe den API-Schlüssel ein.
  5. Wähle die Überprüfungsstufe: von einfach (Anbieter antwortet) bis anspruchsvoll (Modell antwortet).
  6. Starte die erste Überprüfung und beobachte die Logs.
Zur Liste der Aufgabentypen