การทำงานของแบบจำลอง AI

การตรวจสอบติดตามว่าแบบจำลองที่ให้บริการของคุณอยู่ได้พร้อมและตอบสนอง ผู้ให้บริการ AI ไม่ค่อยล้มตัวทั้งหมด: บ่อยครั้งแบบจำลองจะถูกนำลงจากการเผยแพร่ คีย์จะหยุดทำงาน หรือการตอบสนองที่ใช้สองวินาทีจะเริ่มใช้สี่สิบวินาที การตรวจสอบ HTTP ปกติจะไม่สังเกตเห็นสิ่งนี้ — มันจะเห็นเว็บไซต์ของผู้ให้บริการที่ทำงาน

สิ่งที่จะตรวจสอบ

เลือกขั้นตอนหนึ่ง ไม่ใช่ชุดของเครื่องหมาย: มันอยู่ซ้อนกัน — "แบบจำลองตอบสนอง" โดยไม่มี "ผู้ให้บริการตอบสนอง" ไม่มีวันเกิดขึ้น องค์ประกอบของรายการขึ้นอยู่กับผู้ให้บริการ: "แบบจำลองที่โหลดในหน่วยความจำ" เสนอเฉพาะเซิร์ฟเวอร์ของตัวเอง เพราะสัญญาณนี้ส่งโดยเขาเพียงอย่างเดียว

ขั้นตอน สิ่งที่ตรวจสอบ ราคา
ผู้ให้บริการตอบสนอง ผู้ให้บริการให้รายการแบบจำลองของเขา และการตอบสนองจะถูกแยกวิเคราะห์ ตรวจจับบริการที่ไม่พร้อมใช้งาน ที่อยู่ที่ไม่ถูกต้อง และคีย์ที่ถูกเพิกถอน ฟรี
แบบจำลองอยู่ที่ผู้ให้บริการ แบบจำลองที่คุณระบุอยู่ในรายการนี้ ตรวจจับแบบจำลองที่ถูกลบออกจากการเผยแพร่ และแบบจำลองที่ลอกเลียนแบบบนเซิร์ฟเวอร์ของตัวเอง ฟรี
แบบจำลองอยู่ในหน่วยความจำ แบบจำลองไม่เพียงแค่อยู่ในรายชื่อ แต่เซิร์ฟเวอร์ก็ถือเก็บไว้ในหน่วยความจำ ตรวจจับแบบจำลองที่ถูกขนถ่ายออกโดยความเฉื่อยก่อนที่ผู้ใช้คนแรกจะเจอมัน: แบบจำลองที่ถูกขนถ่ายจะตอบสนอง แต่ก่อนอื่นจะใช้เวลาสิบกว่าวินาทีในการยก มีเฉพาะเซิร์ฟเวอร์ของตัวเอง — ผู้ให้บริการสาธารณะไม่พูดเกี่ยวกับหน่วยความจำของพวกเขา ฟรี
แบบจำลองประมวลผลคำขอ คำขอสั้น ๆ จริง ๆ ไปยังแบบจำลอง ขั้นตอนเดียวที่ตรวจจับ "มีในรายชื่อ แต่ปฏิเสธการตอบกลับ" และการชะลอตัวของแบบจำลองเอง คิดอากร
ขั้นตอนสุดท้ายมีค่าใช้จ่าย มันประมวลผลคำขอจริง ๆ ไปยังแบบจำลองในแต่ละครั้งที่มีการตรวจสอบ: ผู้ให้บริการจะคิดอากร บนเซิร์ฟเวอร์ของตัวเองจะใช้ทรัพยากร การตรวจสอบทุกนาทีคือกว่า สี่สิบพันคำขอต่อเดือน เราไม่ตั้งขีดจำกัด: คุณรู้เพียงอย่างเดียวว่าคำขอใช้ราคาเท่าไร — แต่ช่วงเวลาจึงสมควรจากสิบห้านาทีขึ้นไป ตามค่าเริ่มต้น เลือกขั้นตอนที่สอง ซึ่งไม่เสียค่าใช้จ่าย
โปรดทราบ: คีย์ API ปกติ ซึ่งคุณขอไปยังแบบจำลองอยู่แล้วก็เพียงพอ คีย์ผู้ดูแลสำหรับองค์กรไม่จำเป็น และเราไม่ขอให้มี
รหัสแบบจำลองจะเปรียบเทียบตามตัวอักษร เริ่มต้นจากขั้นตอนที่สอง เราค้นหาในรายการของผู้ให้บริการว่าเป็นสตริงเดียวกับที่คุณพิมพ์ ในส่วนของผู้ให้บริการบางรายในรายการ รหัสมีวันที่ปล่อยออกมา และชื่อสั้น ๆ ในคำขอจะทำงาน แต่ไม่อยู่ในรายการ — และการตรวจสอบจะพูดว่าแบบจำลองไม่มี แม้ว่าแบบจำลองจะใช้งานได้ ใช้ชื่อจากรายการของผู้ให้บริการ ไม่ใช่จากตัวอย่างในเอกสาร
แบบจำลองของตัวเองในเครือข่ายภายในนั้นไม่พร้อมใช้งาน การตรวจสอบจะออกจากเซิร์ฟเวอร์ของเรา ดังนั้นแบบจำลองที่ยกขึ้นในเครือข่ายท้องถิ่นหรือหลัง VPN เราจะไม่เห็น — อย่างที่ไม่มีใครนอกจากเราจะเห็น คุณสามารถติดตามสิ่งที่พร้อมใช้งานจากอินเทอร์เน็ต

ฟิลด์ของแบบฟอร์ม

ฟิลด์ ความหมาย ควรใส่อะไร ตัวอย่าง
ชื่อ ชื่อของการตรวจสอบ ระบุแบบจำลองใดและเหตุใดจึงสำคัญ แบบจำลองการสนับสนุน
กลุ่ม อนุญาตให้นำงานมาอยู่ในโครงการหรือส่วน เลือกกลุ่มหากคุณต้องการให้งานของโครงการอยู่ด้วยกัน โครงการหลัก
ผู้ให้บริการ ภาษา API ที่บริการขูดะหลัก เลือกผู้ขายจากรายการ ของ Ollama และ LM Studio มีจุดแยกต่างหาก: มีเพียงสิ่งเหล่านี้เท่านั้นที่แสดงว่ารูปแบบโหลดในหน่วยความจำ สำหรับสิ่งอื่น ๆ — เครื่องยนต์อื่น เกตเวย์ ผู้ขายที่รู้จักน้อยกว่า — ใช้ "API ที่เข้ากันได้กับ OpenAI" API ที่เข้ากันได้กับ OpenAI
ที่อยู่ API จะไปที่ไหน ถูกถามจาก API ที่เข้ากันได้และเซิร์ฟเวอร์ของตัวเอง — สำหรับผู้ให้บริการสาธารณะ ที่อยู่คือค่าของมันเองและเป็นที่รู้จักลวงหน้า คำแนะนำที่แน่นอนว่าจะใส่อะไร มีอยู่ใต้ฟิลด์: API ที่เข้ากันได้ต้องการที่อยู่พร้อมกับเวอร์ชัน เซิร์ฟเวอร์ของตัวเอง — ที่อยู่โดยไม่มีเส้นทาง https://api.openai.com/v1
คีย์ API คีย์ที่ทำคำขอ วางคีย์จากบัญชีส่วนตัวของผู้ให้บริการ สำหรับ GigaChat นี่คือคีย์การยืนยันตัวตนของโครงการ — ไม่ใช่รหัสลูกค้าและไม่ใช่ความลับ ของตัวเอง สำหรับ Yandex AI Studio — คีย์ API ของบัญชีบริการ สำหรับเซิร์ฟเวอร์ของตัวเอง อาจไม่มีคีย์เลย — แล้วปล่อยให้ฟิลด์ว่าง; ถ้าเซิร์ฟเวอร์ปิดด้วย proxy วางโทเค็นของเขา เมื่อแก้ไขงาน ช่องว่างหมายถึง "เก็บคีย์เก่าไว้" sk-…
ไดเรกทอรี ไดเรกทอรีคลาวด์ที่มีแบบจำลอง ถูกถามเฉพาะจาก Yandex AI Studio วางรหัสประจำตัวของไดเรกทอรี ซึ่งบัญชีบริการพร้อมคีย์ถูกจัดตั้ง มันจะอยู่ในรหัสแบบจำลองหลังจาก gpt:// b1g…
เวอร์ชันของ API ขอบเขตของการเข้าถึงคีย์ ถูกถามเฉพาะจาก GigaChat เลือกอันที่กำหนดไว้ในบัญชีส่วนตัวของคุณถัดจากคีย์การยืนยัน: สำหรับบุคคล สำหรับธุรกิจที่มีแพ็กเกจ หรือตามการใช้งานจริง คีย์จากเวอร์ชันหนึ่งจะไม่ยอมรับในอีกเวอร์ชันหนึ่ง บุคคล
แบบจำลอง รหัสแบบจำลองที่ติดตาม ระบุว่าผู้ให้บริการส่งมันในรายการแบบจำลองเสมอ: การเปรียบเทียบนั้นเข้มงวด สำหรับเซิร์ฟเวอร์ของตัวเอง นี่มักจะเป็นเส้นทางหรือนามแฝง ไม่ใช่ชื่อสั้น ๆ ตามปกติ สำหรับ Yandex AI Studio รหัสรวมไดเรกทอรี: gpt://<catalog>/yandexgpt/latest gpt-4o-mini
สิ่งที่จะตรวจสอบ ขั้นตอนการตรวจสอบจากที่อธิบายไว้ข้างต้น อันไหนบ้างที่พร้อมใช้งานขึ้นอยู่กับผู้ให้บริการ เริ่มต้นจากอันที่สอง เปิดอันสุดท้ายเมื่อสำคัญที่จะรู้ว่าแบบจำลองตอบสนอง ไม่เพียงแค่อยู่ในรายชื่อ แบบจำลองอยู่ที่ผู้ให้บริการ
ประเภทของคำขอ สิ่งที่แบบจำลองทำ: สนทนาหรือเวกเตอร์ ถูกถามเฉพาะจากขั้นตอนสุดท้าย เลือกว่าแบบจำลองมีไว้ทำอะไร คำขอสนทนากับแบบจำลองการฝังตัวจะปฏิเสธโดยผู้ให้บริการเป็นอย่างชอบด้วยกฎหมาย และการตรวจสอบจะล้มเหลวบนแบบจำลองที่ดี คำขอสนทนา
เวลารอ เวลาที่จ้ำไว้สำหรับการตรวจสอบทั้งหมด บนขั้นตอนใดก็ได้ ยิ่งไป นั่นเป็นขีดจำกัด: การตรวจสอบที่นานขึ้นจะนับว่าล้มเหลว — ผู้ให้บริการ ซึ่งตอบสนอง แต่ช้า ก็เสีย ๆ ได้เช่นกัน ใช้การสำรองเพื่อเก็บตัวเย็นโหลด: เซิร์ฟเวอร์ที่ยกรูปแบบในคำขอแรกตอบสนองช้ากว่าปกติ 1 นาที
ช่วงเวลา บ่อยแค่ไหนที่จะตรวจสอบ ในขั้นตอนฟรี — สิ่งที่คุณต้องการ ในขั้นตอนสุดท้าย จำไว้ว่าการตรวจสอบแต่ละครั้งคิดอากร 5 นาที
ช่องการแจ้งเตือน ส่งข้อความเกี่ยวกับปัญหาและการฟื้นตัว ทำเครื่องหมายช่องที่คุณอ่านการแจ้งเตือนจริง ๆ Telegram และอีเมล
รายงาน สรุปงบประมาณสำหรับงาน เปิดหากคุณต้องการภาพรวมโดยไม่ต้องเข้าหน้าจอด้วยตัวเอง รายงานรายสัปดาห์

เมื่อมีการเตือน

การเตือนจะมาหากการตรวจสอบที่เลือกไม่สำเร็จ:

  • ผู้ให้บริการไม่พร้อมใช้งาน ตอบด้วยข้อผิดพลาด หรือปฏิเสธคีย์;
  • ไม่มีแบบจำลองที่ระบุในรายการ — เริ่มต้นจากขั้นตอนที่สอง;
  • แบบจำลองมี แต่เซิร์ฟเวอร์ไม่ถือเก็บไว้ในหน่วยความจำ — ในขั้นตอน "แบบจำลองที่โหลดในหน่วยความจำ";
  • แบบจำลองตอบปฏิเสธ — ในขั้นตอนสุดท้าย;
  • การตรวจสอบใช้เวลามากกว่าการรอ — บนขั้นตอนใดก็ได้

เมื่อการตรวจสอบถูกข้าม

ถ้าผู้ให้บริการขอให้เข้าชมได้น้อยลง งานจะไม่ล้มและไม่ขึ้น — การตรวจสอบจะถูกข้ามไป และสถานะ ยังคงเหมือนเดิม นี่คือเพียงกรณีเดียว: ขีดจำกัดอัตราเกี่ยวกับความหนักแน่นของเราเอง ไม่ใช่แบบจำลองของคุณ ทุกอย่างอื่น ๆ — เครือข่ายที่เงียบ ภัยพิบัติ ณ ผู้ให้บริการ คีย์ที่ปฏิเสธ — สำหรับงานนี้ และหมายความว่าแบบจำลองไม่ทำงาน

งานเดียว — แบบจำลองเดียว

ติดตามห้าแบบจำลอง — นี่คืองานห้างาน และถ้าคุณต้องการตรวจสอบรายการแบบจำลองบ่อย ๆ แต่คำขอจริง — หาร: สร้างงานสองงานที่มีขั้นตอนต่างกัน และช่วงเวลาต่างกัน: งาน มีช่วงเวลาหนึ่ง และช่วงเวลาเดียว และการหลอมรวมสองคำถาม คุณจะได้ความพร้อมใช้งาน ซึ่งไม่ชัดเจนว่าเป็นของใคร

การตั้งค่าการแจ้งเตือน

สำหรับแต่ละช่องการแจ้งเตือนในงาน คุณสามารถตั้งค่าพารามิเตอร์เพิ่มเติมได้ พวกเขาใช้งานได้เฉพาะสำหรับเหตุการณ์ DOWN เท่านั้น

พารามิเตอร์ ทำอะไร
เปิดใช้งาน อนุญาตหรือห้ามการส่งการแจ้งเตือนช่องนี้สำหรับงาน
เลื่อน PRO ชะลอการแจ้งเตือน DOWN ครั้งแรกโดยเวลาที่เลือก (สูงสุด 12 ชั่วโมง) สะดวกเพื่อหลีกเลี่ยงการแจ้งเตือนจากความล้มเหลวชั่วคราว
ทำซ้ำ PRO ทำซ้ำการแจ้งเตือนเป็นระยะโดยงานยังคงสถานะ DOWN (สูงสุด 1 ชั่วโมงระหว่างการซ้ำ) เหมาะสำหรับเมื่อสำคัญที่ไม่จะพลาดการขัดข้องยืดเยื้อ
พารามิเตอร์ "เลื่อน" และ "ทำซ้ำ" ไม่ส่งผลต่อเหตุการณ์ UP และการแจ้งเตือนการฟื้นตัว
ไปยังรายการประเภทงาน