KI-Modell-Betrieb
Die Überprüfung überwacht, dass das Modell, auf dem Ihr Service läuft, verfügbar ist und antwortet. KI-Anbieter fallen selten komplett aus: Häufiger wird ein Modell aus der Veröffentlichung genommen, der Schlüssel funktioniert nicht mehr oder die Antwort, die zwei Sekunden dauerte, dauert jetzt vierzig. Eine normale HTTP-Überprüfung bemerkt das nicht – sie sieht nur den funktionierenden Anbieter-Website.
Was genau überprüfen
Es wird eine Stufe ausgewählt, nicht mehrere Kontrollkästchen: Sie sind verschachtelt – „Das Modell antwortet" gibt es nicht ohne „Der Anbieter antwortet". Die Liste hängt vom Anbieter ab: „Das Modell in den Speicher geladen" bietet nur sein Eigener Server, weil nur er dieses Zeichen gibt.
| Stufe | Was wird überprüft | Fehlerrisiko |
|---|---|---|
| Der Anbieter antwortet | Der Anbieter-Server erhält die Anfrage und gibt eine Antwort zurück, unabhängig vom Inhalt. | Niedriges Risiko, aber sagt nicht aus, ob das Modell tatsächlich funktioniert. |
| Das Modell ist vorhanden | Der Anbieter hat das Modell in seiner Liste, es ist nicht von der Veröffentlichung genommen, der Schlüssel ist gültig. | Mittleres Risiko: Das Modell kann online sein, aber nicht reagieren. |
| Das Modell antwortet | Das Modell führt eine echte Anfrage aus und gibt eine Antwort zurück. Timeout wird berücksichtigt. | Hohes Risiko: Dies ist ein echter Request, der bei dem Anbieter berechnet wird und auf Ihrem eigenen Server Ressourcen verbraucht. |
| Das Modell in den Speicher geladen (nur lokale Server) | Das Modell befindet sich im Arbeitsspeicher Ihres Servers und wartet auf Anfragen. | Variabel: Wenn das Modell nicht im Speicher liegt, kann es bedeuten, dass die Instanz neu gestartet wurde oder der Speicherplatz voll ist. |
Welchen Anbieter auswählen
Verbinde Deinen KI-API-Schlüssel mit PingWin:
- OpenAI (ChatGPT) – GPT-4, GPT-3.5 und andere Modelle.
- Anthropic (Claude) – Claude 3 und andere Modelle.
- GigaChat (Yandex) – GigaChat-Modelle.
- LM Studio – Lokal gehostete Modelle auf Ihrem Server.
- Ollama – Leichte lokale Modelle.
- OpenRouter – Zugriff auf Dutzende von Modellen über einen Schlüssel.
- DeepSeek – DeepSeek-Modelle.
Wie einrichten
- Wähle den Anbieter.
- Wähle das Modell aus der Liste.
- Gebe die API-Adresse an (für remote) oder den Servernamen (für lokal).
- Gebe den API-Schlüssel ein.
- Wähle die Überprüfungsstufe: von einfach (Anbieter antwortet) bis anspruchsvoll (Modell antwortet).
- Starte die erste Überprüfung und beobachte die Logs.