發送請求以獲取給定聊天對話的模型回應。支援串流和非串流模式。相容 OpenAI Chat Completions API 格式。
Bearer 令牌。在 Authorization 請求標頭中使用您的 API 金鑰作為 Bearer 令牌。Format: Bearer <SUNRA_KEY>
此端點接受一個 JSON 物件。
對話的訊息列表。
訊息作者的角色。支援的值:system、user、assistant、tool。
訊息的內容。可以是字串或內容部分的陣列,用於多模態輸入。
參與者的可選名稱。為模型提供資訊以區分相同角色的不同參與者。
模型生成的工具呼叫,例如函式呼叫。僅出現在 assistant 訊息中。
此訊息回應的工具呼叫。僅出現在 tool 訊息中。
如果設為 true,將以伺服器傳送事件(SSE)的方式傳送部分訊息增量。
補全中生成的最大令牌數。輸入令牌和生成令牌的總長度受模型上下文長度的限制。
取樣溫度,介於 0 到 2 之間。較高的值(如 0.8)使輸出更隨機,較低的值(如 0.2)使其更集中和確定性。
核取樣參數(0-1)。作為溫度取樣的替代方案,模型會考慮具有 top_p 機率質量的令牌。
介於 -2.0 和 2.0 之間的數字。正值會根據新令牌在文本中的現有頻率進行懲罰,降低模型逐字重複相同內容的可能性。
介於 -2.0 和 2.0 之間的數字。正值會根據新令牌是否出現在文本中進行懲罰,增加模型談論新主題的可能性。
最多 4 個序列,API 將在這些序列處停止生成更多令牌。
是否返回輸出令牌的對數機率。如果為 true,將在訊息內容中返回每個輸出令牌的對數機率。
介於 0 和 20 之間的整數,指定在每個令牌位置返回最可能令牌的數量。使用此參數時,logprobs 必須設為 true。
指定模型必須輸出的格式的物件。
回應格式的類型。支援的值:text、json_object、json_schema。
JSON schema 物件。當類型為 json_schema 時為必填。
如果指定,系統將盡最大努力進行確定性取樣,使得具有相同種子和參數的重複請求應返回相同的結果。
模型可以呼叫的工具列表。目前僅支援函式作為工具。
函式定義。
函式接受的參數,以 JSON Schema 物件描述。
控制模型呼叫哪個(如果有的話)工具。none 表示模型不會呼叫任何工具。auto 表示模型可以選擇生成訊息或呼叫工具。required 表示模型必須呼叫一個或多個工具。也可以透過 {"type": "function", "function": {"name": "my_function"}} 指定特定函式。
代表您終端使用者的唯一識別碼,有助於監控和檢測濫用。
成功的聊天補全回應。
物件類型。始終為 chat.completion。
聊天補全建立時的 Unix 時間戳(以秒為單位)。
聊天補全選擇列表。如果 n 大於 1,則可以有多個。
模型停止生成令牌的原因。可為 stop、length、tool_calls 或 content_filter。
此指紋代表模型運行的後端配置。可與 seed 參數一起使用,以了解何時進行了後端變更。
curl -X POST https://api-llm.sunra.ai/v1/chat/completions \
-H "Authorization: Bearer <SUNRA_KEY>" \
-H "Content-Type: application/json" \
-d '{
"model": "openai/gpt-4o",
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "What is the capital of France?"
}
]
}'
{
"id": "chatcmpl-abc123",
"object": "chat.completion",
"created": 1677652288,
"model": "openai/gpt-4o",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "The capital of France is Paris."
},
"finish_reason": "stop",
"logprobs": null
}
],
"system_fingerprint": "fp_44709d6fcb",
"usage": {
"prompt_tokens": 25,
"completion_tokens": 8,
"total_tokens": 33
}
}