AI 모델 작동

확인은 서비스가 의존하는 모델의 가용성과 응답성을 추적합니다. AI 제공자는 드물게 완전히 다운되지만, 더 자주 모델이 게시 중단되거나, 키가 더 이상 작동하지 않거나, 2초가 걸리던 응답이 40초가 걸리기 시작합니다. 일반적인 HTTP 확인은 이를 감지할 수 없습니다 — 제공자의 사이트가 작동하는 것을 볼 것입니다.

정확히 무엇을 확인할지

하나의 단계를 선택하며, 확인 표시 집합을 선택하지 않습니다: 단계들은 중첩되어 있습니다 — «모델이 응답함»은 «제공자가 응답함» 없이 발생하지 않습니다. 목록 구성은 제공자에 따라 다릅니다: «메모리에 로드된 모델»은 자신의 서버에서만 제공하는데, 그 표시는 자신의 서버에서만 반환되므로입니다.

단계 확인할 항목 가격
제공자가 응답함 제공자가 자신의 모델 목록을 반환하고 응답이 구분 분석됩니다. 서비스를 사용할 수 없음, 잘못된 주소, 거부된 키를 포착합니다. 무료
제공자가 모델을 가지고 있음 이 같은 목록에 지정한 모델이 있습니다. 게시 중단된 모델과 자신의 서버에서 교체된 모델을 포착합니다. 무료
메모리에 로드된 모델 모델은 단순히 나열되지 않으며, 서버에 의해 메모리에 유지됩니다. 비활성 후 언로드된 모델을 첫 번째 사용자가 발견하기 전에 포착합니다: 언로드된 모델은 응답하지만 먼저 로드하는 데 10초 이상 소비합니다. 자신의 서버에만 있으며 — 공개 공급자는 자신의 메모리에 대해 이야기하지 않습니다. 무료
모델이 요청을 실행함 모델로 짧은 실제 요청을 보냅니다. 목록에 있지만 요청을 거부하는 경우와 모델 자체의 속도 저하를 포착하는 유일한 단계입니다. 청구됨
마지막 단계는 비용이 듭니다. 이는 매번 확인할 때마다 모델에 대한 실제 요청을 실행합니다: 제공자에서는 청구되고, 자신의 서버에서는 리소스를 소비합니다. 분당 한 번 확인하면 월 40,000회 이상의 요청입니다. 우리는 제한을 두지 않습니다: 요청 비용은 당신만 아실 수 있지만, 간격을 합리적으로 15분 이상으로 선택하는 것이 좋습니다. 기본값은 두 번째 단계, 무료입니다.
주의하세요: 일반적인 API 키만으로도 충분합니다. 관리자 키 조직은 필요하지 않으며, 우리는 이를 요청하지 않습니다.
모델 식별자는 문자 그대로 비교됩니다. 두 번째 단계부터 우리는 제공자 목록에서 정확히 입력한 문자열을 찾습니다. 일부 제공자의 목록에는 출시 날짜가 있는 식별자가 있지만, 요청에서 짧은 이름이 작동하지만 목록에 표시되지 않습니다. 확인은 모델이 없다고 보고하지만 모델은 살아 있습니다. 제공자 목록에서 이름을 가져가세요, 설명서의 예제가 아닙니다.
자신의 모델은 내부 네트워크에서 사용할 수 없습니다. 확인은 우리 서버에서 진행되므로, 로컬 네트워크 또는 VPN 뒤에 올린 모델은 우리가 볼 수 없습니다 — 외부에서 아무도 보지 못할 것입니다. 인터넷에서 사용할 수 있는 것을 추적할 수 있습니다.

양식 필드

필드 의미 입력할 내용 예시
이름 확인 이름입니다. 어떤 모델과 왜 중요한지 명시하세요. 지원 모델
그룹 작업을 프로젝트나 섹션에 할당할 수 있습니다. 프로젝트별로 작업을 함께 유지하려면 그룹을 선택하세요. 주요 프로젝트
제공자 서비스가 사용하는 API의 방언입니다. 목록에서 공급자를 선택하세요. 자신의 Ollama 및 LM Studio 서버에는 별도 항목이 있습니다: 모델이 메모리에 로드되어 있는지를 표시하는 것은 이들뿐입니다. 다른 모든 것의 경우 — 다른 엔진, 게이트웨이, 알려지지 않은 공급자 — «OpenAI 호환 API»를 선택합니다. OpenAI 호환 API
API 주소 연결할 위치입니다. 호환 API 및 자신의 서버에 요청됩니다 — 공개 공급자는 고유한 주소를 가지고 있으며 사전에 알려져 있습니다. 정확히 입력할 내용은 필드 아래 표시됩니다: 호환 API에는 버전이 포함된 주소가 필요하고, 자신의 서버에는 경로 없는 주소가 필요합니다. https://api.openai.com/v1
API 키 요청이 만들어지는 키입니다. 제공자의 개인 계정에서 키를 붙여넣습니다. GigaChat의 경우 프로젝트 인증 키입니다 — 개별 클라이언트 ID 또는 암호가 아닙니다. Yandex AI Studio의 경우 — 서비스 계정의 API 키입니다. 자신의 서버에는 키가 전혀 없을 수 있습니다 — 그러면 필드를 비워두세요; 프록시 뒤의 서버인 경우 토큰을 입력하세요. 작업을 변경할 때 빈 필드는 «이전 키 유지»를 의미합니다. sk-…
카탈로그 모델이 작동하는 클라우드 카탈로그입니다. Yandex AI Studio에서만 요청됩니다. 키를 가진 서비스 계정이 설정된 카탈로그의 식별자를 입력하세요. 모델 식별자의 gpt:// 뒤에도 있습니다. b1g…
API 버전 키의 액세스 범위입니다. GigaChat에서만 요청됩니다. 개인 계정에서 인증 키 옆에 표시된 것을 선택하세요: 개인용, 패키지 포함 또는 선불 결제를 포함한 비즈니스용입니다. 한 버전의 키는 다른 버전에서 허용되지 않습니다. 개인
모델 추적 중인 모델의 식별자입니다. 제공자가 모델 목록에서 반환하는 것과 정확히 동일하게 지정하세요: 비교는 엄격합니다. 자신의 서버에서는 종종 경로 또는 별칭이지만 친숙한 짧은 이름이 아닙니다. Yandex AI Studio의 경우 식별자에 카탈로그: gpt://<catalog>/yandexgpt/latest가 포함됩니다. gpt-4o-mini
확인할 항목 위에 설명된 확인 단계입니다. 어떤 것을 사용할 수 있는지는 제공자에 따라 다릅니다. 두 번째부터 시작하세요. 모델이 단순히 나열되지 않고 실제로 응답하는지 알아야 할 때만 마지막을 활성화합니다. 제공자가 모델을 가지고 있음
요청 유형 모델이 하는 작업: 대화 또는 벡터입니다. 마지막 단계에서만 요청됩니다. 모델이 무엇을 위해 설계되었는지 선택하세요. 임베딩 모델에 대한 대화 요청은 제공자가 합법적으로 거부하고 정상적인 모델에서 확인이 실패합니다. 대화형 요청
대기 시간 전체 확인에 할당된 시간(어느 단계든). 이는 또한 임계값입니다: 더 오래 확인하면 실패로 간주됩니다 — 응답하지만 천천히 하는 제공자도 고장입니다. 냉기동에 여유를 두고 선택하세요: 모델을 처음 요청 시 로드하는 서버는 평소보다 훨씬 느리게 응답합니다. 1분
간격 확인을 실행하는 빈도입니다. 무료 단계에서는 편의에 따라. 마지막에 각 확인이 청구된다는 점을 기억합니다. 5분
알림 채널 문제 및 복구 메시지를 보낼 위치입니다. 실제로 알림을 읽는 채널을 선택하세요. Telegram 및 이메일
보고서 작업에 대한 주기적 요약입니다. 패널에 수동으로 로그인하지 않고 개요를 받으려면 활성화하세요. 주간 보고서

경고가 올 때

선택한 확인이 실패하면 경고가 옵니다:

  • 제공자를 사용할 수 없음, 오류로 응답하거나 키를 거부했습니다;
  • 지정한 모델이 목록에 없습니다 — 두 번째 단계부터;
  • 모델이 있지만 서버가 메모리에 유지하지 않습니다 — «메모리에 로드된 모델» 단계;
  • 모델이 거부로 응답했습니다 — 마지막;
  • 전체 확인이 대기 시간보다 오래 걸렸습니다 — 모든 단계.

확인이 건너뛸 때

제공자가 더 드물게 요청하도록 요청한 경우, 작업은 다운되거나 올라가지 않습니다 — 확인 건너뛰고 상태는 이전 상태로 유지됩니다. 이것이 유일한 경우입니다: 빈도 제한은 우리 자신의 성가심을 나타냅니다, 귀하의 모델이 아닙니다. 다른 모든 것 — 무음 네트워크, 제공자 사고, 거부된 키 — 이 작업을 위해 모델이 작동하지 않음을 의미합니다.

한 가지 작업 — 한 가지 모델

5개 모델을 추적하는 것 — 이것들은 5개 작업입니다. 목록 모델을 자주 확인하고 실시간 요청은 드물게 해야 하면, 다른 단계와 다른 간격을 가진 두 작업을 만드세요: 작업에는 하나의 간격과 하나의 가동 시간이 있으며, 두 질문을 혼합하면 그것이 무엇인지 불명확한 가동 시간을 얻을 수 있습니다.

알림 설정

작업의 각 알림 채널에 추가 매개변수를 설정할 수 있습니다. DOWN 이벤트에만 적용됩니다.

매개변수 기능
활성화 이 채널로 해당 작업의 알림 전송을 허용하거나 금지합니다.
지연 PRO DOWN에 대한 첫 알림을 선택한 시간(최대 12시간)만큼 지연합니다. 단기 오류에 대한 알림을 받지 않도록 하는 데 편리합니다.
반복 PRO 작업이 DOWN 상태로 유지되는 동안 주기적으로 알림을 반복합니다 (반복 간격 최대 1시간). 장기적인 장애를 놓치지 않아야 할 때 적합합니다.
«지연» 및 «반복» 매개변수는 UP 이벤트와 복구 알림에 영향을 주지 않습니다.
작업 유형 목록으로