Mistral api: Almindelige fejl og løsninger

Forvirrede base URLs med endpoints

Vores API base URL er HTTPS://api.mistralllmapi.com/v1, ikke den standard OpenAI endpoint. Du skal opdatere din klientkonfiguration til at pege på denne specifikke adresse. Hvis du efterlader den standard base URL, vil hvert request fejle med en 404-fejl. Endpointet selv forbliver POST /v1/chat/completions. Denne struktur sikrer kompatibilitet med standard OpenAI SDKs. Udviklere overser ofte denne simple ændring under initial opsætning. Verificér din base_url variabel omgående. Det er fundamentet for alt connectivity.

Ignorerer kontekstvinduesgrænser

Modellen understøtter et kontekstvindue på 100.000 tokens til kombineret prompt og completion. Maksimum output pr. forespørgsel er dog 16.000 tokens. Hvis du ikke indstiller max_tokens, falder grænsen til 2.048 tokens. Overskridelse af disse grænser resulterer i beskårne svar eller fejl. Planlæg din prompt-længde omhyggeligt. Korte prompts tillader længere output. Lange prompts begrænser svarlængden. Overvåg din tokenforbrug nøje.

Antagende, at alle modeller er uncensored

Ikke alle modeller, der tilbydes af andre leverandører, mangler indholdsfiltre. Vores single model id er "uncensored". Den er fin-tunet til at svare uden afvisninger til lovligt voksent brug. Det er ikke GPT, Claude eller Llama. Antag ikke, at andre modeller opfører sig på samme måde. Tjek model id i din anmodning. Vores model afviser ikke kontroversielle emner. Den håndterer nuancerede prompts effektivt. Verificer modelnavnet i din kode.

At overse streamingimplementering

Streaming understøttes via Server-Sent Events. Du skal parse den sidste chunk for at få nøjagtigt tokenforbrug. Token-tællinger er ikke altid nøjagtige i mellem-liggende chunks. Vent på stop_reason for at behandle det. Dette sikrer, at du kun betaler for fuldførte requests. Fejl og afvisninger er gratis. Streaming reducerer latensen for lange outputs. Det forbedrer brugeroplevelsen betydeligt. Håndter delvise svar omhyggeligt. Tjek den sidste chunk for forbrugsdata.

Misforståelse af tokenomkostninger

Vores LLM API-prissætning er $0.15 per 1M input-tokens. Output-tokens koster $0.50 per 1M tokens. Der er ingen månedlige gebyrer eller abonnementer. Kredit udløber ikke. Fejl forbruger ikke kredit. Denne model er gennemsigtig og forudsigelig. Beregn dine omkostninger før skalering. Brug streaming til at overvåge tokenantal. Undgå unødvendige retries for at spare kredit. Forudbetalt kredit opkræves efter faktisk forbrug. Spørg efter dine udgifter regelmæssigt.

Forvent, at indholdsfiltre opfører sig som GPT

Vores ucensurerede AI-model bruger ikke de samme filtre som GPT. Den tillader lovligt voksenindhold. Den afviser ikke standard kontroversielle emner. Antag ingen standardbegrænsninger. Test dine prompts grundigt. Modellen er direkte og ufiltreret. Den svarer på spørgsmål uden at tøve. Forvent ikke sikkerhedslag. Verificér adfærd med din specifikke use case. Den er designet til ubegrænset generering. Der er ingen skjulte blokke for standardindhold.

Håndterer ikke rate limits korrekt

Hver nøgle giver 300 requests i minuttet. Du kan have 8 samtidige requests. Grænsen for request body er 8 MB. Overskridelse af disse grænser returnerer en 429-fejl. Implementér eksponentiel backoff i din client. Hammer ikke API'et med parallelle tråde. Overvåg dit usage dashboard. Rate limits beskytter servicestabiliteten. Justér dine concurrency-indstillinger tilsvarende. Retry-logik er essentiel for robuste apps. Respekter grænserne for at undgå forsinkelser.

Forveksler model-ID'er og nøgler

Din API-nøgle autentificerer anmodningen. Model-ID'et "uncensored" vælger modellen. Forveksl ikke de to. Brug "uncensored" i model-feltet. Din nøgle goes i Authorization-headeren. Tjek din nøgle i dashboardet. Generer en ny nøgle efter behov. Én aktiv nøgle pr. konto. En ny nøgle erstatter den gamle. Hold dine nøgler sikre. Brug miljøvariabler til opbevaring.