Create a chat completion

curl -X POST https://api-llm.sunra.ai/v1/chat/completions \
  -H "Authorization: Bearer <SUNRA_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4o",
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is the capital of France?"
      }
    ]
  }'

{
  "id": "chatcmpl-abc123",
  "object": "chat.completion",
  "created": 1677652288,
  "model": "openai/gpt-4o",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "The capital of France is Paris."
      },
      "finish_reason": "stop",
      "logprobs": null
    }
  ],
  "system_fingerprint": "fp_44709d6fcb",
  "usage": {
    "prompt_tokens": 25,
    "completion_tokens": 8,
    "total_tokens": 33
  }
}

POST

chat

completions

curl -X POST https://api-llm.sunra.ai/v1/chat/completions \
  -H "Authorization: Bearer <SUNRA_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4o",
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is the capital of France?"
      }
    ]
  }'

{
  "id": "chatcmpl-abc123",
  "object": "chat.completion",
  "created": 1677652288,
  "model": "openai/gpt-4o",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "The capital of France is Paris."
      },
      "finish_reason": "stop",
      "logprobs": null
    }
  ],
  "system_fingerprint": "fp_44709d6fcb",
  "usage": {
    "prompt_tokens": 25,
    "completion_tokens": 8,
    "total_tokens": 33
  }
}

Mengirim permintaan respons model untuk percakapan chat yang diberikan. Mendukung mode streaming dan non-streaming. Kompatibel dengan format OpenAI Chat Completions API.

Autentikasi

Authorization

string

wajib

Bearer token. Gunakan kunci API Anda sebagai bearer token di header Authorization.Format: Bearer <SUNRA_KEY>

Permintaan

Endpoint ini menerima sebuah objek.

messages

object[]

wajib

Daftar pesan untuk percakapan.

Tampilkan properties

role

string

wajib

Peran penulis pesan. Nilai yang didukung: system, user, assistant, tool.

content

string | object[]

wajib

Konten pesan. Dapat berupa string atau array bagian konten untuk input multimodal.

name

string

Nama opsional untuk peserta. Memberikan informasi kepada model untuk membedakan antara peserta dengan peran yang sama.

tool_calls

object[]

Panggilan alat yang dihasilkan oleh model, seperti panggilan fungsi. Hanya ada dalam pesan assistant.

tool_call_id

string

Panggilan alat yang direspons oleh pesan ini. Hanya ada dalam pesan tool.

model

string

wajib

Model yang digunakan untuk penyelesaian. Jelajahi model yang tersedia di sunra.ai/models.

stream

boolean

default:false

Jika diatur ke true, delta pesan parsial akan dikirim sebagai server-sent events (SSE).

max_tokens

integer

Jumlah maksimum token yang akan dihasilkan dalam penyelesaian. Total panjang token input dan token yang dihasilkan dibatasi oleh panjang konteks model.

temperature

number

default:1

Temperatur sampling antara 0 dan 2. Nilai lebih tinggi seperti 0.8 membuat output lebih acak, nilai lebih rendah seperti 0.2 membuatnya lebih terfokus dan deterministik.

top_p

number

default:1

Parameter nucleus sampling (0-1). Alternatif untuk temperature sampling di mana model mempertimbangkan token dengan massa probabilitas top_p.

frequency_penalty

number

default:0

Angka antara -2.0 dan 2.0. Nilai positif menghukum token baru berdasarkan frekuensi kemunculannya dalam teks sejauh ini, mengurangi kemungkinan model mengulangi baris yang sama secara verbatim.

presence_penalty

number

default:0

Angka antara -2.0 dan 2.0. Nilai positif menghukum token baru berdasarkan apakah mereka muncul dalam teks sejauh ini, meningkatkan kemungkinan model membahas topik baru.

stop

string | string[]

Hingga 4 urutan di mana API akan berhenti menghasilkan token lebih lanjut.

integer

default:1

Berapa banyak pilihan penyelesaian chat yang dihasilkan untuk setiap pesan input.

logprobs

boolean

default:false

Apakah akan mengembalikan probabilitas log dari token output. Jika true, mengembalikan probabilitas log dari setiap token output yang dikembalikan dalam konten pesan.

top_logprobs

integer

Bilangan bulat antara 0 dan 20 yang menentukan jumlah token paling mungkin yang dikembalikan di setiap posisi token. logprobs harus diatur ke true jika parameter ini digunakan.

response_format

object

Objek yang menentukan format yang harus dikeluarkan oleh model.

Tampilkan properties

type

string

wajib

Tipe format respons. Nilai yang didukung: text, json_object, json_schema.

json_schema

object

Objek JSON schema. Diperlukan ketika type adalah json_schema.

seed

integer

Jika ditentukan, sistem akan melakukan upaya terbaik untuk melakukan sampling secara deterministik, sehingga permintaan berulang dengan seed dan parameter yang sama akan mengembalikan hasil yang sama.

tools

object[]

Daftar alat yang dapat dipanggil oleh model. Saat ini, hanya fungsi yang didukung sebagai alat.

Tampilkan properties

type

string

wajib

Tipe alat. Saat ini, hanya function yang didukung.

function

object

wajib

Definisi fungsi.

Tampilkan properties

name

string

wajib

Nama fungsi yang akan dipanggil.

description

string

Deskripsi tentang apa yang dilakukan fungsi tersebut.

parameters

object

Parameter yang diterima fungsi, dijelaskan sebagai objek JSON Schema.

strict

boolean

default:false

Apakah akan mengaktifkan kepatuhan skema yang ketat.

tool_choice

string | object

Mengontrol alat mana (jika ada) yang dipanggil oleh model. none berarti model tidak akan memanggil alat apa pun. auto berarti model dapat memilih antara menghasilkan pesan atau memanggil alat. required berarti model harus memanggil satu atau lebih alat. Dapat juga menentukan fungsi tertentu melalui {"type": "function", "function": {"name": "my_function"}}.

parallel_tool_calls

boolean

default:true

Apakah akan mengaktifkan pemanggilan fungsi paralel selama penggunaan alat.

user

string

Pengenal unik yang mewakili pengguna akhir Anda, yang dapat membantu memantau dan mendeteksi penyalahgunaan.

Respons

Respons penyelesaian chat yang berhasil.

string

Pengenal unik untuk penyelesaian chat.

object

string

Tipe objek. Selalu chat.completion.

created

integer

Timestamp Unix (dalam detik) kapan penyelesaian chat dibuat.

model

string

Model yang digunakan untuk penyelesaian chat.

choices

object[]

Daftar pilihan penyelesaian chat. Dapat lebih dari satu jika n lebih besar dari 1.

Tampilkan properties

index

integer

Indeks pilihan dalam daftar pilihan.

message

object

Pesan penyelesaian chat yang dihasilkan oleh model.

Tampilkan properties

role

string

Peran penulis pesan ini. Selalu assistant.

content

string | null

Konten pesan.

tool_calls

object[]

Panggilan alat yang dihasilkan oleh model, seperti panggilan fungsi.

Tampilkan properties

string

ID panggilan alat.

type

string

Tipe alat. Saat ini, hanya function yang didukung.

function

object

Fungsi yang dipanggil oleh model.

Tampilkan properties

name

string

Nama fungsi yang dipanggil.

arguments

string

Argumen untuk memanggil fungsi, dihasilkan oleh model dalam format JSON.

finish_reason

string

Alasan model berhenti menghasilkan token. Dapat berupa stop, length, tool_calls, atau content_filter.

logprobs

object | null

Informasi probabilitas log untuk pilihan tersebut.

usage

object

Statistik penggunaan untuk permintaan penyelesaian.

Tampilkan properties

prompt_tokens

integer

Jumlah token dalam prompt.

completion_tokens

integer

Jumlah token dalam penyelesaian yang dihasilkan.

total_tokens

integer

Jumlah total token yang digunakan dalam permintaan (prompt + penyelesaian).

system_fingerprint

string | null

Sidik jari ini mewakili konfigurasi backend tempat model berjalan. Dapat digunakan dengan parameter seed untuk memahami kapan perubahan backend telah dilakukan.

curl -X POST https://api-llm.sunra.ai/v1/chat/completions \
  -H "Authorization: Bearer <SUNRA_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4o",
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "What is the capital of France?"
      }
    ]
  }'

{
  "id": "chatcmpl-abc123",
  "object": "chat.completion",
  "created": 1677652288,
  "model": "openai/gpt-4o",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "The capital of France is Paris."
      },
      "finish_reason": "stop",
      "logprobs": null
    }
  ],
  "system_fingerprint": "fp_44709d6fcb",
  "usage": {
    "prompt_tokens": 25,
    "completion_tokens": 8,
    "total_tokens": 33
  }
}

Panduan Cepat LLM Create a message

​Autentikasi

​Permintaan

​Respons

Autentikasi

Permintaan

Respons