API Mistral: Časté chyby a jejich opravy

Zaměňování základních URL s koncovými body

Základní URL našeho API je HTTPS://api.mistralllmapi.com/v1, nikoli standardní endpoint OpenAI. Musíte aktualizovat konfiguraci klienta tak, aby ukazovala na tuto konkrétní adresu. Pokud ponecháte výchozí základní URL, každý požadavek selže chybou 404. Endpoint zůstává POST /v1/chat/completions. Tato struktura zajišťuje kompatibilitu se standardními SDK OpenAI. Vývojáři často při počátečním nastavení přehlédnou tuto jednoduchou změnu. Okamžitě ověřte proměnnou base_url. Je základem všech připojení.

Ignorování limitů kontextového okna

Model podporuje kontextové okno o velikosti 100 000 tokenů pro kombinaci promptu a odpovědi. Maximální výstup na požadavek je však 16 000 tokenů. Pokud nezadáte max_tokens, limit klesne na 2 048 tokenů. Překročení těchto limitů vede ke zkráceným odpovědím nebo chybám. Promyslete délku promptu pečlivě. Krátké prompty umožňují delší výstupy. Dlouhé prompty omezují délku odpovědi. Sledujte své využití tokenů úzce.

Předpokládáme, že všechny modely jsou bez omezení

Ne každý model nabízený jinými výrobci postrádá filtry obsahu. Naše jediné ID modelu je 'bezo zásad'. Je doladěno tak, aby odpovídalo bez odmítnutí pro legální použití pro dospělé. Není to GPT, Claude ani Llama. Nepředpokládejte, že se ostatní modely chovají stejně. Zkontrolujte ID modelu ve vašem požadavku. Náš model neodmítá kontroverzní témata. Efektivně zvládá nuance promptů. Ověřte název modelu ve vašem kódu.

Přehlédnutí implementace streamingu

Podpora streamování je dostupná prostřednictvím Server-Sent Events. Pro získání přesného využití tokenů musíte analyzovat poslední blok. Počty tokenů nejsou vždy přesné v mezilehlých blocích. Počkejte na stop_reason pro zpracování. To zajišťuje, že zaplatíte pouze za dokončené požadavky. Chyby a odmítnutí jsou zdarma. Streamování snižuje latenci pro dlouhé výstupy. Výrazně zlepšuje uživatelskou zkušenost. Částečné odpovědi zpracovávejte opatrně. Pro data o využití zkontrolujte poslední blok.

Nepochopení nákladů na tokeny

Cenění API LLM od nás je $0.15 za 1M vstupních tokenů. Výstupní tokeny stojí $0.50 za 1M tokenů. Neexistují měsíční poplatky ani předplatná. Kredit nevyprší. Chyby nespotřebovávají kredit. Tento model je transparentní a předvídatelný. Vypočítejte si náklady před škálováním. Použijte streamování pro sledování počtu tokenů. Vyhněte se zbytečným opakováním požadavků pro úsporu kreditu. Předplacený kredit je účtován podle skutečného využití. Sledujte své výdaje pravidelně.

Očekává se, že filtry obsahu se budou chovat jako GPT

Model AI bez omezení nepoužívá stejná filtry jako GPT. Umožňuje zákonný obsah pro dospělé. Neodmítá standardní kontroverzní témata. Předpokládejte žádné výchozí omezení. Důkladně otestujte své podněty. Model je přímý a ne filtrovaný. Odpovídá na otázky bez zábran. Neočekávejte vrstvy bezpečnosti. Ověřte chování pro váš konkrétní případ použití. Je navržen pro neomezenou generaci. Neexistují skryté bloky pro standardní obsah.

Nesprávné zpracování limitů rychlosti

Každý klíč umožňuje 300 požadavků za minutu. Můžete mít 8 souběžných požadavků. Limit těla požadavku je 8 MB. Překročení těchto limitů vrátí chybu 429. Implementujte exponenciální zpomalování ve svém klientovi. Nezatěžujte API paralelními vlákny. Sledujte svůj dashboard využití. Limity rychlosti chrání stabilitu služby. Příslušně upravte nastavení souběžnosti. Logika opakování je pro robustní aplikace zásadní. Respektujte limity, abyste předešli zpožděním.

Záměna ID modelů a klíčů

Váš API klíč autentizuje požadavek. ID modelu "uncensored" vybírá model. Nepleťte si je. Použijte "uncensored" v poli modelu. Váš klíč patří do hlavičky Authorization. Zkontrolujte svůj klíč v ovládacím panelu. Vygenerujte nový klíč, pokud je třeba. Jeden aktivní klíč na účet. Nový klíč nahrazuje starý. Uchovávejte své klíče v bezpečí. Pro uložení používejte proměnné prostředí.