การทำงานของแบบจำลอง AI
การตรวจสอบติดตามว่าแบบจำลองที่ให้บริการของคุณอยู่ได้พร้อมและตอบสนอง ผู้ให้บริการ AI ไม่ค่อยล้มตัวทั้งหมด: บ่อยครั้งแบบจำลองจะถูกนำลงจากการเผยแพร่ คีย์จะหยุดทำงาน หรือการตอบสนองที่ใช้สองวินาทีจะเริ่มใช้สี่สิบวินาที การตรวจสอบ HTTP ปกติจะไม่สังเกตเห็นสิ่งนี้ — มันจะเห็นเว็บไซต์ของผู้ให้บริการที่ทำงาน
สิ่งที่จะตรวจสอบ
เลือกขั้นตอนหนึ่ง ไม่ใช่ชุดของเครื่องหมาย: มันอยู่ซ้อนกัน — "แบบจำลองตอบสนอง" โดยไม่มี "ผู้ให้บริการตอบสนอง" ไม่มีวันเกิดขึ้น องค์ประกอบของรายการขึ้นอยู่กับผู้ให้บริการ: "แบบจำลองที่โหลดในหน่วยความจำ" เสนอเฉพาะเซิร์ฟเวอร์ของตัวเอง เพราะสัญญาณนี้ส่งโดยเขาเพียงอย่างเดียว
| ขั้นตอน | สิ่งที่ตรวจสอบ | ราคา |
|---|---|---|
| ผู้ให้บริการตอบสนอง | ผู้ให้บริการให้รายการแบบจำลองของเขา และการตอบสนองจะถูกแยกวิเคราะห์ ตรวจจับบริการที่ไม่พร้อมใช้งาน ที่อยู่ที่ไม่ถูกต้อง และคีย์ที่ถูกเพิกถอน | ฟรี |
| แบบจำลองอยู่ที่ผู้ให้บริการ | แบบจำลองที่คุณระบุอยู่ในรายการนี้ ตรวจจับแบบจำลองที่ถูกลบออกจากการเผยแพร่ และแบบจำลองที่ลอกเลียนแบบบนเซิร์ฟเวอร์ของตัวเอง | ฟรี |
| แบบจำลองอยู่ในหน่วยความจำ | แบบจำลองไม่เพียงแค่อยู่ในรายชื่อ แต่เซิร์ฟเวอร์ก็ถือเก็บไว้ในหน่วยความจำ ตรวจจับแบบจำลองที่ถูกขนถ่ายออกโดยความเฉื่อยก่อนที่ผู้ใช้คนแรกจะเจอมัน: แบบจำลองที่ถูกขนถ่ายจะตอบสนอง แต่ก่อนอื่นจะใช้เวลาสิบกว่าวินาทีในการยก มีเฉพาะเซิร์ฟเวอร์ของตัวเอง — ผู้ให้บริการสาธารณะไม่พูดเกี่ยวกับหน่วยความจำของพวกเขา | ฟรี |
| แบบจำลองประมวลผลคำขอ | คำขอสั้น ๆ จริง ๆ ไปยังแบบจำลอง ขั้นตอนเดียวที่ตรวจจับ "มีในรายชื่อ แต่ปฏิเสธการตอบกลับ" และการชะลอตัวของแบบจำลองเอง | คิดอากร |
ฟิลด์ของแบบฟอร์ม
| ฟิลด์ | ความหมาย | ควรใส่อะไร | ตัวอย่าง |
|---|---|---|---|
| ชื่อ | ชื่อของการตรวจสอบ | ระบุแบบจำลองใดและเหตุใดจึงสำคัญ | แบบจำลองการสนับสนุน |
| กลุ่ม | อนุญาตให้นำงานมาอยู่ในโครงการหรือส่วน | เลือกกลุ่มหากคุณต้องการให้งานของโครงการอยู่ด้วยกัน | โครงการหลัก |
| ผู้ให้บริการ | ภาษา API ที่บริการขูดะหลัก | เลือกผู้ขายจากรายการ ของ Ollama และ LM Studio มีจุดแยกต่างหาก: มีเพียงสิ่งเหล่านี้เท่านั้นที่แสดงว่ารูปแบบโหลดในหน่วยความจำ สำหรับสิ่งอื่น ๆ — เครื่องยนต์อื่น เกตเวย์ ผู้ขายที่รู้จักน้อยกว่า — ใช้ "API ที่เข้ากันได้กับ OpenAI" | API ที่เข้ากันได้กับ OpenAI |
| ที่อยู่ API | จะไปที่ไหน ถูกถามจาก API ที่เข้ากันได้และเซิร์ฟเวอร์ของตัวเอง — สำหรับผู้ให้บริการสาธารณะ ที่อยู่คือค่าของมันเองและเป็นที่รู้จักลวงหน้า | คำแนะนำที่แน่นอนว่าจะใส่อะไร มีอยู่ใต้ฟิลด์: API ที่เข้ากันได้ต้องการที่อยู่พร้อมกับเวอร์ชัน เซิร์ฟเวอร์ของตัวเอง — ที่อยู่โดยไม่มีเส้นทาง | https://api.openai.com/v1 |
| คีย์ API | คีย์ที่ทำคำขอ | วางคีย์จากบัญชีส่วนตัวของผู้ให้บริการ สำหรับ GigaChat นี่คือคีย์การยืนยันตัวตนของโครงการ — ไม่ใช่รหัสลูกค้าและไม่ใช่ความลับ ของตัวเอง สำหรับ Yandex AI Studio — คีย์ API ของบัญชีบริการ สำหรับเซิร์ฟเวอร์ของตัวเอง อาจไม่มีคีย์เลย — แล้วปล่อยให้ฟิลด์ว่าง; ถ้าเซิร์ฟเวอร์ปิดด้วย proxy วางโทเค็นของเขา เมื่อแก้ไขงาน ช่องว่างหมายถึง "เก็บคีย์เก่าไว้" | sk-… |
| ไดเรกทอรี | ไดเรกทอรีคลาวด์ที่มีแบบจำลอง ถูกถามเฉพาะจาก Yandex AI Studio | วางรหัสประจำตัวของไดเรกทอรี ซึ่งบัญชีบริการพร้อมคีย์ถูกจัดตั้ง มันจะอยู่ในรหัสแบบจำลองหลังจาก gpt:// |
b1g… |
| เวอร์ชันของ API | ขอบเขตของการเข้าถึงคีย์ ถูกถามเฉพาะจาก GigaChat | เลือกอันที่กำหนดไว้ในบัญชีส่วนตัวของคุณถัดจากคีย์การยืนยัน: สำหรับบุคคล สำหรับธุรกิจที่มีแพ็กเกจ หรือตามการใช้งานจริง คีย์จากเวอร์ชันหนึ่งจะไม่ยอมรับในอีกเวอร์ชันหนึ่ง | บุคคล |
| แบบจำลอง | รหัสแบบจำลองที่ติดตาม | ระบุว่าผู้ให้บริการส่งมันในรายการแบบจำลองเสมอ: การเปรียบเทียบนั้นเข้มงวด สำหรับเซิร์ฟเวอร์ของตัวเอง นี่มักจะเป็นเส้นทางหรือนามแฝง ไม่ใช่ชื่อสั้น ๆ ตามปกติ สำหรับ Yandex AI Studio รหัสรวมไดเรกทอรี: gpt://<catalog>/yandexgpt/latest |
gpt-4o-mini |
| สิ่งที่จะตรวจสอบ | ขั้นตอนการตรวจสอบจากที่อธิบายไว้ข้างต้น อันไหนบ้างที่พร้อมใช้งานขึ้นอยู่กับผู้ให้บริการ | เริ่มต้นจากอันที่สอง เปิดอันสุดท้ายเมื่อสำคัญที่จะรู้ว่าแบบจำลองตอบสนอง ไม่เพียงแค่อยู่ในรายชื่อ | แบบจำลองอยู่ที่ผู้ให้บริการ |
| ประเภทของคำขอ | สิ่งที่แบบจำลองทำ: สนทนาหรือเวกเตอร์ ถูกถามเฉพาะจากขั้นตอนสุดท้าย | เลือกว่าแบบจำลองมีไว้ทำอะไร คำขอสนทนากับแบบจำลองการฝังตัวจะปฏิเสธโดยผู้ให้บริการเป็นอย่างชอบด้วยกฎหมาย และการตรวจสอบจะล้มเหลวบนแบบจำลองที่ดี | คำขอสนทนา |
| เวลารอ | เวลาที่จ้ำไว้สำหรับการตรวจสอบทั้งหมด บนขั้นตอนใดก็ได้ ยิ่งไป นั่นเป็นขีดจำกัด: การตรวจสอบที่นานขึ้นจะนับว่าล้มเหลว — ผู้ให้บริการ ซึ่งตอบสนอง แต่ช้า ก็เสีย ๆ ได้เช่นกัน | ใช้การสำรองเพื่อเก็บตัวเย็นโหลด: เซิร์ฟเวอร์ที่ยกรูปแบบในคำขอแรกตอบสนองช้ากว่าปกติ | 1 นาที |
| ช่วงเวลา | บ่อยแค่ไหนที่จะตรวจสอบ | ในขั้นตอนฟรี — สิ่งที่คุณต้องการ ในขั้นตอนสุดท้าย จำไว้ว่าการตรวจสอบแต่ละครั้งคิดอากร | 5 นาที |
| ช่องการแจ้งเตือน | ส่งข้อความเกี่ยวกับปัญหาและการฟื้นตัว | ทำเครื่องหมายช่องที่คุณอ่านการแจ้งเตือนจริง ๆ | Telegram และอีเมล |
| รายงาน | สรุปงบประมาณสำหรับงาน | เปิดหากคุณต้องการภาพรวมโดยไม่ต้องเข้าหน้าจอด้วยตัวเอง | รายงานรายสัปดาห์ |
เมื่อมีการเตือน
การเตือนจะมาหากการตรวจสอบที่เลือกไม่สำเร็จ:
- ผู้ให้บริการไม่พร้อมใช้งาน ตอบด้วยข้อผิดพลาด หรือปฏิเสธคีย์;
- ไม่มีแบบจำลองที่ระบุในรายการ — เริ่มต้นจากขั้นตอนที่สอง;
- แบบจำลองมี แต่เซิร์ฟเวอร์ไม่ถือเก็บไว้ในหน่วยความจำ — ในขั้นตอน "แบบจำลองที่โหลดในหน่วยความจำ";
- แบบจำลองตอบปฏิเสธ — ในขั้นตอนสุดท้าย;
- การตรวจสอบใช้เวลามากกว่าการรอ — บนขั้นตอนใดก็ได้
เมื่อการตรวจสอบถูกข้าม
ถ้าผู้ให้บริการขอให้เข้าชมได้น้อยลง งานจะไม่ล้มและไม่ขึ้น — การตรวจสอบจะถูกข้ามไป และสถานะ ยังคงเหมือนเดิม นี่คือเพียงกรณีเดียว: ขีดจำกัดอัตราเกี่ยวกับความหนักแน่นของเราเอง ไม่ใช่แบบจำลองของคุณ ทุกอย่างอื่น ๆ — เครือข่ายที่เงียบ ภัยพิบัติ ณ ผู้ให้บริการ คีย์ที่ปฏิเสธ — สำหรับงานนี้ และหมายความว่าแบบจำลองไม่ทำงาน
งานเดียว — แบบจำลองเดียว
ติดตามห้าแบบจำลอง — นี่คืองานห้างาน และถ้าคุณต้องการตรวจสอบรายการแบบจำลองบ่อย ๆ แต่คำขอจริง — หาร: สร้างงานสองงานที่มีขั้นตอนต่างกัน และช่วงเวลาต่างกัน: งาน มีช่วงเวลาหนึ่ง และช่วงเวลาเดียว และการหลอมรวมสองคำถาม คุณจะได้ความพร้อมใช้งาน ซึ่งไม่ชัดเจนว่าเป็นของใคร
การตั้งค่าการแจ้งเตือน
สำหรับแต่ละช่องการแจ้งเตือนในงาน คุณสามารถตั้งค่าพารามิเตอร์เพิ่มเติมได้ พวกเขาใช้งานได้เฉพาะสำหรับเหตุการณ์ DOWN เท่านั้น
| พารามิเตอร์ | ทำอะไร |
|---|---|
| เปิดใช้งาน | อนุญาตหรือห้ามการส่งการแจ้งเตือนช่องนี้สำหรับงาน |
| เลื่อน PRO | ชะลอการแจ้งเตือน DOWN ครั้งแรกโดยเวลาที่เลือก (สูงสุด 12 ชั่วโมง) สะดวกเพื่อหลีกเลี่ยงการแจ้งเตือนจากความล้มเหลวชั่วคราว |
| ทำซ้ำ PRO | ทำซ้ำการแจ้งเตือนเป็นระยะโดยงานยังคงสถานะ DOWN (สูงสุด 1 ชั่วโมงระหว่างการซ้ำ) เหมาะสำหรับเมื่อสำคัญที่ไม่จะพลาดการขัดข้องยืดเยื้อ |