AI 모델 작동
확인은 서비스가 의존하는 모델의 가용성과 응답성을 추적합니다. AI 제공자는 드물게 완전히 다운되지만, 더 자주 모델이 게시 중단되거나, 키가 더 이상 작동하지 않거나, 2초가 걸리던 응답이 40초가 걸리기 시작합니다. 일반적인 HTTP 확인은 이를 감지할 수 없습니다 — 제공자의 사이트가 작동하는 것을 볼 것입니다.
정확히 무엇을 확인할지
하나의 단계를 선택하며, 확인 표시 집합을 선택하지 않습니다: 단계들은 중첩되어 있습니다 — «모델이 응답함»은 «제공자가 응답함» 없이 발생하지 않습니다. 목록 구성은 제공자에 따라 다릅니다: «메모리에 로드된 모델»은 자신의 서버에서만 제공하는데, 그 표시는 자신의 서버에서만 반환되므로입니다.
| 단계 | 확인할 항목 | 가격 |
|---|---|---|
| 제공자가 응답함 | 제공자가 자신의 모델 목록을 반환하고 응답이 구분 분석됩니다. 서비스를 사용할 수 없음, 잘못된 주소, 거부된 키를 포착합니다. | 무료 |
| 제공자가 모델을 가지고 있음 | 이 같은 목록에 지정한 모델이 있습니다. 게시 중단된 모델과 자신의 서버에서 교체된 모델을 포착합니다. | 무료 |
| 메모리에 로드된 모델 | 모델은 단순히 나열되지 않으며, 서버에 의해 메모리에 유지됩니다. 비활성 후 언로드된 모델을 첫 번째 사용자가 발견하기 전에 포착합니다: 언로드된 모델은 응답하지만 먼저 로드하는 데 10초 이상 소비합니다. 자신의 서버에만 있으며 — 공개 공급자는 자신의 메모리에 대해 이야기하지 않습니다. | 무료 |
| 모델이 요청을 실행함 | 모델로 짧은 실제 요청을 보냅니다. 목록에 있지만 요청을 거부하는 경우와 모델 자체의 속도 저하를 포착하는 유일한 단계입니다. | 청구됨 |
양식 필드
| 필드 | 의미 | 입력할 내용 | 예시 |
|---|---|---|---|
| 이름 | 확인 이름입니다. | 어떤 모델과 왜 중요한지 명시하세요. | 지원 모델 |
| 그룹 | 작업을 프로젝트나 섹션에 할당할 수 있습니다. | 프로젝트별로 작업을 함께 유지하려면 그룹을 선택하세요. | 주요 프로젝트 |
| 제공자 | 서비스가 사용하는 API의 방언입니다. | 목록에서 공급자를 선택하세요. 자신의 Ollama 및 LM Studio 서버에는 별도 항목이 있습니다: 모델이 메모리에 로드되어 있는지를 표시하는 것은 이들뿐입니다. 다른 모든 것의 경우 — 다른 엔진, 게이트웨이, 알려지지 않은 공급자 — «OpenAI 호환 API»를 선택합니다. | OpenAI 호환 API |
| API 주소 | 연결할 위치입니다. 호환 API 및 자신의 서버에 요청됩니다 — 공개 공급자는 고유한 주소를 가지고 있으며 사전에 알려져 있습니다. | 정확히 입력할 내용은 필드 아래 표시됩니다: 호환 API에는 버전이 포함된 주소가 필요하고, 자신의 서버에는 경로 없는 주소가 필요합니다. | https://api.openai.com/v1 |
| API 키 | 요청이 만들어지는 키입니다. | 제공자의 개인 계정에서 키를 붙여넣습니다. GigaChat의 경우 프로젝트 인증 키입니다 — 개별 클라이언트 ID 또는 암호가 아닙니다. Yandex AI Studio의 경우 — 서비스 계정의 API 키입니다. 자신의 서버에는 키가 전혀 없을 수 있습니다 — 그러면 필드를 비워두세요; 프록시 뒤의 서버인 경우 토큰을 입력하세요. 작업을 변경할 때 빈 필드는 «이전 키 유지»를 의미합니다. | sk-… |
| 카탈로그 | 모델이 작동하는 클라우드 카탈로그입니다. Yandex AI Studio에서만 요청됩니다. | 키를 가진 서비스 계정이 설정된 카탈로그의 식별자를 입력하세요. 모델 식별자의 gpt:// 뒤에도 있습니다. |
b1g… |
| API 버전 | 키의 액세스 범위입니다. GigaChat에서만 요청됩니다. | 개인 계정에서 인증 키 옆에 표시된 것을 선택하세요: 개인용, 패키지 포함 또는 선불 결제를 포함한 비즈니스용입니다. 한 버전의 키는 다른 버전에서 허용되지 않습니다. | 개인 |
| 모델 | 추적 중인 모델의 식별자입니다. | 제공자가 모델 목록에서 반환하는 것과 정확히 동일하게 지정하세요: 비교는 엄격합니다. 자신의 서버에서는 종종 경로 또는 별칭이지만 친숙한 짧은 이름이 아닙니다. Yandex AI Studio의 경우 식별자에 카탈로그: gpt://<catalog>/yandexgpt/latest가 포함됩니다. |
gpt-4o-mini |
| 확인할 항목 | 위에 설명된 확인 단계입니다. 어떤 것을 사용할 수 있는지는 제공자에 따라 다릅니다. | 두 번째부터 시작하세요. 모델이 단순히 나열되지 않고 실제로 응답하는지 알아야 할 때만 마지막을 활성화합니다. | 제공자가 모델을 가지고 있음 |
| 요청 유형 | 모델이 하는 작업: 대화 또는 벡터입니다. 마지막 단계에서만 요청됩니다. | 모델이 무엇을 위해 설계되었는지 선택하세요. 임베딩 모델에 대한 대화 요청은 제공자가 합법적으로 거부하고 정상적인 모델에서 확인이 실패합니다. | 대화형 요청 |
| 대기 시간 | 전체 확인에 할당된 시간(어느 단계든). 이는 또한 임계값입니다: 더 오래 확인하면 실패로 간주됩니다 — 응답하지만 천천히 하는 제공자도 고장입니다. | 냉기동에 여유를 두고 선택하세요: 모델을 처음 요청 시 로드하는 서버는 평소보다 훨씬 느리게 응답합니다. | 1분 |
| 간격 | 확인을 실행하는 빈도입니다. | 무료 단계에서는 편의에 따라. 마지막에 각 확인이 청구된다는 점을 기억합니다. | 5분 |
| 알림 채널 | 문제 및 복구 메시지를 보낼 위치입니다. | 실제로 알림을 읽는 채널을 선택하세요. | Telegram 및 이메일 |
| 보고서 | 작업에 대한 주기적 요약입니다. | 패널에 수동으로 로그인하지 않고 개요를 받으려면 활성화하세요. | 주간 보고서 |
경고가 올 때
선택한 확인이 실패하면 경고가 옵니다:
- 제공자를 사용할 수 없음, 오류로 응답하거나 키를 거부했습니다;
- 지정한 모델이 목록에 없습니다 — 두 번째 단계부터;
- 모델이 있지만 서버가 메모리에 유지하지 않습니다 — «메모리에 로드된 모델» 단계;
- 모델이 거부로 응답했습니다 — 마지막;
- 전체 확인이 대기 시간보다 오래 걸렸습니다 — 모든 단계.
확인이 건너뛸 때
제공자가 더 드물게 요청하도록 요청한 경우, 작업은 다운되거나 올라가지 않습니다 — 확인 건너뛰고 상태는 이전 상태로 유지됩니다. 이것이 유일한 경우입니다: 빈도 제한은 우리 자신의 성가심을 나타냅니다, 귀하의 모델이 아닙니다. 다른 모든 것 — 무음 네트워크, 제공자 사고, 거부된 키 — 이 작업을 위해 모델이 작동하지 않음을 의미합니다.
한 가지 작업 — 한 가지 모델
5개 모델을 추적하는 것 — 이것들은 5개 작업입니다. 목록 모델을 자주 확인하고 실시간 요청은 드물게 해야 하면, 다른 단계와 다른 간격을 가진 두 작업을 만드세요: 작업에는 하나의 간격과 하나의 가동 시간이 있으며, 두 질문을 혼합하면 그것이 무엇인지 불명확한 가동 시간을 얻을 수 있습니다.
알림 설정
작업의 각 알림 채널에 추가 매개변수를 설정할 수 있습니다. DOWN 이벤트에만 적용됩니다.
| 매개변수 | 기능 |
|---|---|
| 활성화 | 이 채널로 해당 작업의 알림 전송을 허용하거나 금지합니다. |
| 지연 PRO | DOWN에 대한 첫 알림을 선택한 시간(최대 12시간)만큼 지연합니다. 단기 오류에 대한 알림을 받지 않도록 하는 데 편리합니다. |
| 반복 PRO | 작업이 DOWN 상태로 유지되는 동안 주기적으로 알림을 반복합니다 (반복 간격 최대 1시간). 장기적인 장애를 놓치지 않아야 할 때 적합합니다. |