curl -X POST https://api-llm.sunra.ai/v1/chat/completions \ -H "Authorization: Bearer <SUNRA_KEY>" \ -H "Content-Type: application/json" \ -d '{ "model": "openai/gpt-4o", "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": "What is the capital of France?" } ] }'
Copy
{ "id": "chatcmpl-abc123", "object": "chat.completion", "created": 1677652288, "model": "openai/gpt-4o", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "The capital of France is Paris." }, "finish_reason": "stop", "logprobs": null } ], "system_fingerprint": "fp_44709d6fcb", "usage": { "prompt_tokens": 25, "completion_tokens": 8, "total_tokens": 33 }}
Chat
Create a chat completion
POST
/
v1
/
chat
/
completions
Copy
curl -X POST https://api-llm.sunra.ai/v1/chat/completions \ -H "Authorization: Bearer <SUNRA_KEY>" \ -H "Content-Type: application/json" \ -d '{ "model": "openai/gpt-4o", "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": "What is the capital of France?" } ] }'
Copy
{ "id": "chatcmpl-abc123", "object": "chat.completion", "created": 1677652288, "model": "openai/gpt-4o", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "The capital of France is Paris." }, "finish_reason": "stop", "logprobs": null } ], "system_fingerprint": "fp_44709d6fcb", "usage": { "prompt_tokens": 25, "completion_tokens": 8, "total_tokens": 33 }}
Mengirim permintaan respons model untuk percakapan chat yang diberikan. Mendukung mode streaming dan non-streaming. Kompatibel dengan format OpenAI Chat Completions API.
Jumlah maksimum token yang akan dihasilkan dalam penyelesaian. Total panjang token input dan token yang dihasilkan dibatasi oleh panjang konteks model.
Temperatur sampling antara 0 dan 2. Nilai lebih tinggi seperti 0.8 membuat output lebih acak, nilai lebih rendah seperti 0.2 membuatnya lebih terfokus dan deterministik.
Angka antara -2.0 dan 2.0. Nilai positif menghukum token baru berdasarkan frekuensi kemunculannya dalam teks sejauh ini, mengurangi kemungkinan model mengulangi baris yang sama secara verbatim.
Angka antara -2.0 dan 2.0. Nilai positif menghukum token baru berdasarkan apakah mereka muncul dalam teks sejauh ini, meningkatkan kemungkinan model membahas topik baru.
Apakah akan mengembalikan probabilitas log dari token output. Jika true, mengembalikan probabilitas log dari setiap token output yang dikembalikan dalam konten pesan.
Bilangan bulat antara 0 dan 20 yang menentukan jumlah token paling mungkin yang dikembalikan di setiap posisi token. logprobs harus diatur ke true jika parameter ini digunakan.
Jika ditentukan, sistem akan melakukan upaya terbaik untuk melakukan sampling secara deterministik, sehingga permintaan berulang dengan seed dan parameter yang sama akan mengembalikan hasil yang sama.
Mengontrol alat mana (jika ada) yang dipanggil oleh model. none berarti model tidak akan memanggil alat apa pun. auto berarti model dapat memilih antara menghasilkan pesan atau memanggil alat. required berarti model harus memanggil satu atau lebih alat. Dapat juga menentukan fungsi tertentu melalui {"type": "function", "function": {"name": "my_function"}}.
Sidik jari ini mewakili konfigurasi backend tempat model berjalan. Dapat digunakan dengan parameter seed untuk memahami kapan perubahan backend telah dilakukan.
Salin
curl -X POST https://api-llm.sunra.ai/v1/chat/completions \ -H "Authorization: Bearer <SUNRA_KEY>" \ -H "Content-Type: application/json" \ -d '{ "model": "openai/gpt-4o", "messages": [ { "role": "system", "content": "You are a helpful assistant." }, { "role": "user", "content": "What is the capital of France?" } ] }'
Salin
{ "id": "chatcmpl-abc123", "object": "chat.completion", "created": 1677652288, "model": "openai/gpt-4o", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "The capital of France is Paris." }, "finish_reason": "stop", "logprobs": null } ], "system_fingerprint": "fp_44709d6fcb", "usage": { "prompt_tokens": 25, "completion_tokens": 8, "total_tokens": 33 }}