API Mistral: ข้อผิดพลาดทั่วไปและการแก้ไข

ความสับสนระหว่าง URL พื้นฐานกับเอนด์พอยต์

URL ฐานของ API ของเราคือ HTTPS://api.mistralllmapi.com/v1 ไม่ใช่เอนด์พอยต์มาตรฐานของ OpenAI คุณต้องอัปเดตการตั้งค่าไคลเอนต์ของคุณให้ชี้ไปที่ที่อยู่เฉพาะนี้ หากคุณปล่อย URL ฐานไว้เป็นค่าเริ่มต้น ทุกคำขอจะล้มเหลวด้วยข้อผิดพลาด 404 เอนด์พอยต์เองยังคงเป็น POST /v1/chat/completions โครงสร้างนี้รับประกันความเข้ากันได้กับ SDK มาตรฐานของ OpenAI นักพัฒนามักพลาดการเปลี่ยนแปลงง่ายๆ นี้ระหว่างการตั้งค่าเริ่มต้น ตรวจสอบตัวแปร base_url ของคุณทันที ซึ่งเป็นพื้นฐานของการเชื่อมต่อทั้งหมด

กำลังละเว้นขีดจำกัดหน้าต่างบริบท

โมเดลรองรับหน้าต่างบริบทขนาด 100,000 token สำหรับ prompt และ completion รวมกัน อย่างไรก็ตาม output สูงสุดต่อคำขอคือ 16,000 token หากไม่ได้ตั้งค่า max_tokens ขีดจำกัดจะลดลงเหลือ 2,048 token การเกินขีดจำกัดเหล่านี้จะส่งผลให้ได้รับ response ที่ถูกตัดทอนหรือเกิดข้อผิดพลาด โปรดวางแผนความยาวของ prompt อย่างรอบคอบ Prompt สั้นช่วยให้ได้ output ที่ยาวกว่า ในขณะที่ prompt ยาวจะจำกัดความยาวของ response โปรดติดตามการใช้งาน token อย่างใกล้ชิด

สมมติว่าโมเดลทั้งหมดเป็น uncensored

โมเดลที่ผู้ขายรายอื่นเสนอไม่ใช่ทุกตัวที่ไม่มีตัวกรองเนื้อหา โมเดล id เดียวของเราคือ 'uncensored' มันถูกปรับแต่งเพื่อตอบคำถามโดยไม่มีการปฏิเสธสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย มันไม่ใช่ GPT, Claude หรือ Llama อย่าสันนิษฐานว่าโมเดลอื่นมีพฤติกรรมเหมือนกัน ตรวจสอบ model id ในการร้องขอของคุณ โมเดลของเราไม่ปฏิเสธหัวข้อที่ถกเถียงได้ มันจัดการ prompt ที่ซับซ้อนได้อย่างมีประสิทธิภาพ ตรวจสอบชื่อโมเดลในโค้ดของคุณ

การละเลยการนำสตรีมไปใช้

รองรับการสตรีมผ่าน Server-Sent Events คุณต้องวิเคราะห์ชิ้นข้อมูลสุดท้ายเพื่อรับการใช้งานโทเค็นที่แม่นยำ จำนวนโทเค็นในชิ้นข้อมูลกลางอาจไม่ถูกต้องเสมอไป ให้รอ stop_reason ก่อนประมวลผล เพื่อให้คุณจ่ายเฉพาะคำขอที่เสร็จสมบูรณ์เท่านั้น ข้อผิดพลาดและการปฏิเสธไม่คิดเงิน การสตรีมช่วยลดความล่าช้าสำหรับผลลัพธ์ที่ยาว ช่วยปรับปรุงประสบการณ์ผู้ใช้ได้อย่างมาก ควรจัดการการตอบกลับบางส่วนอย่างระมัดระวัง โดยตรวจสอบชิ้นข้อมูลสุดท้ายเพื่อรับข้อมูลการใช้งาน

ความเข้าใจผิดเกี่ยวกับต้นทุน token

ราคา API LLM ของเราคือ $0.15 ต่อ 1M input tokens ค่า output tokens คือ $0.50 ต่อ 1M tokens ไม่มีค่าธรรมเนียมรายเดือนหรือค่าสมัครสมาชิก เครดิตไม่มีวันหมดอายุ ข้อผิดพลาดไม่ใช้เครดิต โมเดลนี้โปร่งใสและคาดเดาได้ คำนวณต้นทุนของคุณก่อนขยาย規模 ใช้ streaming เพื่อติดตามจำนวน token หลีกเลี่ยงการ retry ที่ไม่จำเป็นเพื่อประหยัดเครดิต เครดิตแบบจ่ายล่วงหน้าจะถูกหักตามการใช้งานจริง ติดตามการใช้จ่ายของคุณเป็นประจำ

คาดหวังให้ตัวกรองเนื้อหาทำงานเหมือน GPT

โมเดล AI แบบไม่เซ็นเซอร์ของเราไม่ได้ใช้ตัวกรองเดียวกับ GPT มันอนุญาตให้ใช้เนื้อหาผู้ใหญ่ที่ถูกต้องกฎหมาย และไม่ปฏิเสธหัวข้อที่ถกเถียงมาตรฐาน สมมติว่าไม่มีข้อจำกัดเริ่มต้น ทดสอบพรอมต์ของคุณอย่างละเอียด โมเดลนี้ตรงไปตรงมาและไม่ผ่านการกรอง มันตอบคำถามโดยไม่มีการเลี่ยงคำตอบ อย่าคาดหวังเลเยอร์ความปลอดภัย ตรวจสอบพฤติกรรมกับกรณีการใช้งานเฉพาะของคุณ มันถูกออกแบบมาสำหรับการสร้างแบบไร้ข้อจำกัด ไม่มีบล็อกซ่อนสำหรับเนื้อหามาตรฐาน

ไม่จัดการอัตราจำกัด (rate limits) ได้ถูกต้อง

คีย์แต่ละคีย์อนุญาตให้ส่งคำขอได้ 300 คำขอต่อนาที คุณสามารถมีคำขอพร้อมกันได้ 8 คำขอ ขีดจำกัด body ของคำขอคือ 8 MB การเกินขีดจำกัดเหล่านี้จะส่งข้อผิดพลาด 429 นำการถดถอยแบบเอกซ์โพเนนเชียลไปใช้ในไคลเอนต์ของคุณ อย่าโจมตี API ด้วยเธรดคู่ขนาน ตรวจสอบแดชบอร์ดการใช้งานของคุณ อัตราจำกัดปกป้องความเสถียรของบริการ ปรับการตั้งค่าความพร้อมกันของคุณตามนั้น การตรรกะการลองใหม่จำเป็นสำหรับแอปที่แข็งแกร่ง เคารพขีดจำกัดเพื่อหลีกเลี่ยงความล่าช้า

สับสนระหว่าง ID โมเดลและคีย์

คีย์ API ของคุณยืนยันตัวตนคำขอ รหัสโมเดล "uncensored" เลือกโมเดล อย่าสับสนระหว่างสองสิ่งนี้ ใช้ "uncensored" ในฟิลด์โมเดล คีย์ของคุณอยู่ในหัวเรื่อง Authorization ตรวจสอบคีย์ของคุณในแดชบอร์ด สร้างคีย์ใหม่หากจำเป็น มีคีย์ที่ใช้งานอยู่เพียงคีย์เดียวต่อบัญชี คีย์ใหม่จะแทนที่คีย์เก่า เก็บคีย์ของคุณให้ปลอดภัย ใช้ตัวแปรสภาพแวดล้อมสำหรับการจัดเก็บ