Verifikasi kompatibilitas OpenAI terlebih dahulu
Mula dengan mengesahkan bahawa endpoint memberi respons kepada panggilan SDK OpenAI piawai. Ini memastikan kod klien sedia ada anda berfungsi tanpa pembaharuan besar. Uji sambungan menggunakan /v1/models endpoint untuk mengesahkan sambungan.
- Hantar permintaan mudah untuk memeriksa struktur respons.
- Sahkan ID model dikembalikan seperti yang diharapkan.
- Sahkan bahawa header sepadan dengan jangkaan standard.
Kebanyakan pembangun perisian menganggap keserasian, tetapi perbezaan halus dalam nama medan boleh mematahkan pengurai. Sentiasa uji dengan beban kerja minimum dahulu.
Semak had tetingkap konteks
Model ini menyokong tetingkap konteks 100,000 token untuk gabungan prompt dan penyelesaian. Ini membolehkan sejarah perbualan yang luas atau pemprosesan dokumen besar. Walau bagaimanapun, output maksimum dihadkan kepada 16,000 token setiap permintaan.
- Pantau penggunaan token untuk mengelakkan melebihi tetingkap.
- Potong mesej yang lebih lama jika konteks menjadi terlalu besar.
- Tetapkan secara eksplisit
max_tokensuntuk mengawal panjang output.
Mengabaikan had ini boleh mengakibatkan respons yang terpotong atau ralat. Rancang saiz input anda dengan teliti untuk kekal dalam sempadan token 100k.
Konfigurasi penstriman untuk latensi
Dayakan penstriman melalui Server-Sent Events (SSE) untuk meningkatkan latensi yang dirasakan. Ini membolehkan aplikasi anda memaparkan token seperti yang dijana. Ini sangat penting untuk mengekalkan pengalaman pengguna yang lancar.
- Tetapkan
stream: truedalam badan permintaan anda. - Proses potongan apabila ia tiba untuk mengurangkan masa tunggu.
- Tangani respons separa dengan baik.
Tanpa penstriman, pengguna menunggu keseluruhan respons untuk selesai. Penstriman memberikan maklum balas serta-merta, yang sangat penting untuk aplikasi interaktif.
Aktifkan panggilan fungsi untuk alat
Pemanggilan fungsi membolehkan model memulangkan data terstruktur untuk alat luaran. Ini berguna untuk mencetuskan tindakan atau mengekstrak maklumat khusus. Gunakan tools parameter untuk menentukan fungsi yang tersedia.
- Takrifkan skema fungsi dengan penerangan yang jelas.
- Uraikan output model untuk melaksanakan alat.
- Tangani kes di mana model tidak memanggil fungsi.
Takrifan skema yang betul memastikan model mengembalikan JSON yang sah. Uji dengan pelbagai input untuk mengesahkan ketepatan pemilihan alat.
Pantau penggunaan token dengan teliti
Jejak penggunaan token untuk mengurus kos dengan berkesan. API mengenakan bayaran berdasarkan penggunaan token, dengan token input pada $0.15 bagi setiap 1M dan token output pada $0.50 bagi setiap 1M. Kredit pra-dibayar digunakan, jadi pantau baki anda.
- Log kiraan token untuk setiap permintaan.
- Sediakan amaran untuk baki kredit rendah.
- Semak laporan penggunaan secara berkala.
Penggunaan token yang tidak dijangka boleh menguras kredit anda dengan cepat. Terutamanya dengan penstriman, kira token dengan tepat untuk mengelakkan kejutan.
Tangani penolakan dengan betul
Model ini tidak disensor tetapi masih mempunyai had tegas. Sebagai contoh, kandungan seksual melibatkan kanak-kanak sentiasa ditolak. Pastikan aplikasi anda menangani respons penolakan dengan baik.
- Semak status respons untuk penolakan.
- Paparkan mesej yang sesuai kepada pengguna.
- Log sebab penolakan untuk tujuan nyahpepijat.
Walaupun model tanpa penapis mempunyai sempadan. Memahami had ini mengelakkan kekeliruan apabila permintaan ditolak.
Sediakan amaran pengebilan kripto
Memandangkan pengebilan hanya menggunakan kripto, tetapkan amaran untuk baki dompet anda. Pemuatan semula dilakukan melalui USDT (TRC20) atau USDC (Base). Kredit adalah pra-dibayar dan tidak luput.
- Pantau dompet kripto anda untuk keperluan tambahan dana.
- Sediakan pemberitahuan untuk baki rendah.
- Pantau kredit bonus daripada top-up.
Pembayaran kripto menawarkan privasi dan kelajuan. Pastikan proses pengebilan anda diotomatisasi untuk mengelakkan gangguan perkhidmatan.
Uji dengan petua kes sempadan
Uji integrasi anda dengan prompt yang tidak biasa atau kompleks. Ini membantu mengesan bagaimana model menangani ambiguiti atau arahan yang bercanggah. Kes sempadan boleh mendedahkan ralat penguraian atau logik.
- Gunakan prompt dengan bahasa bercampur.
- Uji dengan arahan panjang dan terperinci.
- Sahkan tingkah laku dengan pertanyaan kabur.
Penggunaan dunia sebenar sering melibatkan input yang bersepah. Ujian menyeluruh memastikan aplikasi anda mengendalikan senario ini dengan kukuh.
Sahkan output mod JSON
Apabila menggunakan mod JSON, pastikan output mengikut skema dengan ketat. Gunakan response_format: {"type": "json_object"} untuk memaksakannya. Sahkan JSON sebelum pemprosesan.
- Uraikan respons untuk memeriksa ralat sintaks.
- Sahkan terhadap skema jangkaan anda.
- Tangani JSON tidak sah dengan lembut.
JSON tidak sah boleh memecahkan aplikasi anda. Sentiasa sahkan output apabila menggunakan format respons berstruktur.