Api Mistral: Những sai lầm phổ biến và cách khắc phục

Nhầm lẫn giữa URL cơ sở và điểm cuối

URL cơ sở của API là HTTPS://api.mistralllmapi.com/v1, không phải điểm cuối OpenAI tiêu chuẩn. Bạn phải cập nhật cấu hình máy khách của mình để trỏ đến địa chỉ cụ thể này. Nếu bạn giữ nguyên URL cơ sở mặc định, mọi yêu cầu sẽ thất bại với lỗi 404. Điểm cuối vẫn là POST /v1/chat/completions. Cấu trúc này đảm bảo tương thích với các SDK OpenAI tiêu chuẩn. Các nhà phát triển thường bỏ qua thay đổi đơn giản này trong quá trình thiết lập ban đầu. Hãy xác minh biến base_url của bạn ngay lập tức. Đó là nền tảng của mọi kết nối.

Bỏ qua giới hạn cửa sổ ngữ cảnh

Mô hình hỗ trợ cửa sổ ngữ cảnh 100.000 token cho tổng prompt và kết quả. Tuy nhiên, đầu ra tối đa mỗi yêu cầu là 16.000 token. Nếu bạn không đặt max_tokens, giới hạn giảm xuống còn 2.048 token. Vượt quá các giới hạn này sẽ dẫn đến phản hồi bị cắt ngắn hoặc lỗi. Hãy lên kế hoạch độ dài prompt cẩn thận. Prompt ngắn cho phép đầu ra dài hơn. Prompt dài hạn chế độ dài phản hồi. Theo dõi chặt chẽ việc sử dụng token của bạn.

Giả sử tất cả các mô hình đều là uncensored

Không phải mọi mô hình do các nhà cung cấp khác cung cấp đều thiếu bộ lọc nội dung. ID mô hình đơn lẻ của chúng tôi là "không kiểm duyệt". Nó được tinh chỉnh để trả lời mà không từ chối đối với việc sử dụng người lớn hợp pháp. Nó không phải là GPT, Claude hay Llama. Đừng giả định các mô hình khác hoạt động theo cách tương tự. Hãy kiểm tra ID mô hình trong yêu cầu của bạn. Mô hình của chúng tôi không từ chối các chủ đề gây tranh cãi. Nó xử lý hiệu quả các câu hỏi tinh tế. Hãy xác minh tên mô hình trong mã của bạn.

Bỏ qua việc triển khai streaming

Hỗ trợ streaming qua Server-Sent Events. Bạn phải phân tích chunk cuối cùng để nhận thông tin sử dụng token chính xác. Đếm token không phải lúc nào cũng chính xác trong các chunk trung gian. Hãy đợi stop_reason để xử lý. Điều này đảm bảo bạn chỉ trả tiền cho các yêu cầu đã hoàn tất. Lỗi và từ chối đều miễn phí. Streaming giảm độ trễ cho các đầu ra dài. Nó cải thiện đáng kể trải nghiệm người dùng. Hãy xử lý cẩn thận các phản hồi một phần. Kiểm tra chunk cuối cùng để lấy dữ liệu sử dụng.

Hiểu sai về chi phí token

Giá API LLM của chúng tôi là $0.15 cho mỗi 1M token đầu vào. Token đầu ra có giá $0.50 cho mỗi 1M token. Không có phí hàng tháng hoặc đăng ký. Tín dụng không bao giờ hết hạn. Lỗi không tiêu tốn tín dụng. Mô hình này minh bạch và có thể dự đoán. Tính toán chi phí của bạn trước khi mở rộng. Sử dụng streaming để theo dõi số lượng token. Tránh các lần thử lại không cần thiết để tiết kiệm tín dụng. Tín dụng trả trước được tính phí theo mức sử dụng thực tế. Theo dõi chi tiêu của bạn thường xuyên.

Mong đợi bộ lọc nội dung hoạt động như GPT

Mô hình AI không kiểm duyệt của chúng tôi không sử dụng cùng bộ lọc như GPT. Nó cho phép nội dung người trưởng thành hợp pháp. Nó không từ chối các chủ đề gây tranh cãi tiêu chuẩn. Hãy giả định không có giới hạn mặc định. Kiểm tra kỹ các gợi ý của bạn. Mô hình trực tiếp và không lọc. Nó trả lời các câu hỏi mà không né tránh. Đừng mong đợi các lớp bảo vệ. Xác minh hành vi với trường hợp sử dụng cụ thể của bạn. Nó được thiết kế cho việc tạo không giới hạn. Không có chặn ẩn cho nội dung tiêu chuẩn.

Không xử lý giới hạn tốc độ đúng cách

Mỗi khóa cho phép 300 yêu cầu mỗi phút. Bạn có thể có 8 yêu cầu đồng thời. Giới hạn thân yêu cầu là 8 MB. Vượt quá các giới hạn này sẽ trả về lỗi 429. Hãy triển khai backoff theo cấp số nhân trong client của bạn. Đừng làm quá tải API bằng các luồng song song. Hãy theo dõi bảng điều khiển sử dụng của bạn. Các giới hạn tốc độ bảo vệ sự ổn định của dịch vụ. Hãy điều chỉnh cài đặt độ đồng thời của bạn cho phù hợp. Logic thử lại rất cần thiết cho các ứng dụng mạnh mẽ. Hãy tôn trọng các giới hạn để tránh chậm trễ.

Nhầm lẫn ID mô hình và khóa

Khóa API của bạn xác thực yêu cầu. ID mô hình "uncensored" chọn mô hình. Đừng nhầm lẫn hai thứ này. Sử dụng "uncensored" trong trường model. Khóa của bạn nằm trong tiêu đề Authorization. Kiểm tra khóa của bạn trong bảng điều khiển. Tạo khóa mới nếu cần. Một khóa hoạt động mỗi tài khoản. Khóa mới sẽ thay thế khóa cũ. Hãy giữ khóa của bạn an toàn. Sử dụng biến môi trường để lưu trữ.