LLM
Create a chat completion
POST
Envia uma requisição para obter uma resposta do modelo para a conversa de chat fornecida. Suporta modos streaming e não-streaming. Compatível com o formato da API OpenAI Chat Completions.
Autenticação
Token Bearer. Use sua chave de API como token Bearer no cabeçalho Authorization.Formato:
Bearer <SUNRA_KEY>Requisição
Este endpoint espera um objeto.Lista de mensagens para a conversa.
O modelo a ser usado para a completação. Navegue pelos modelos disponíveis em sunra.ai/models.
Se definido como
true, deltas de mensagens parciais serão enviados como eventos server-sent (SSE).O número máximo de tokens a gerar na completação. O comprimento total dos tokens de entrada e tokens gerados é limitado pelo comprimento de contexto do modelo.
Temperatura de amostragem entre 0 e 2. Valores mais altos como 0.8 tornam a saída mais aleatória, valores mais baixos como 0.2 a tornam mais focada e determinística.
Parâmetro de amostragem por núcleo (0-1). Uma alternativa à amostragem por temperatura onde o modelo considera os tokens com massa de probabilidade top_p.
Número entre -2.0 e 2.0. Valores positivos penalizam novos tokens com base na sua frequência existente no texto até o momento, diminuindo a probabilidade do modelo repetir a mesma linha literalmente.
Número entre -2.0 e 2.0. Valores positivos penalizam novos tokens com base em se eles aparecem no texto até o momento, aumentando a probabilidade do modelo falar sobre novos tópicos.
Até 4 sequências onde a API deixará de gerar tokens adicionais.
Quantas opções de completação de chat gerar para cada mensagem de entrada.
Indica se devem ser retornadas as log-probabilidades dos tokens de saída. Se verdadeiro, retorna as log-probabilidades de cada token de saída retornado no conteúdo da mensagem.
Um inteiro entre 0 e 20 especificando o número de tokens mais prováveis a retornar em cada posição de token.
logprobs deve estar definido como true se este parâmetro for usado.Um objeto especificando o formato que o modelo deve produzir.
Se especificado, o sistema fará um esforço otimizado para amostrar de forma determinística, de modo que requisições repetidas com o mesmo seed e parâmetros devem retornar o mesmo resultado.
Uma lista de ferramentas que o modelo pode chamar. Atualmente, apenas funções são suportadas como ferramenta.
Controla qual ferramenta (se alguma) é chamada pelo modelo.
none significa que o modelo não chamará nenhuma ferramenta. auto significa que o modelo pode escolher entre gerar uma mensagem ou chamar ferramentas. required significa que o modelo deve chamar uma ou mais ferramentas. Também pode especificar uma função particular via {"type": "function", "function": {"name": "my_function"}}.Indica se deve habilitar a chamada de funções em paralelo durante o uso de ferramentas.
Um identificador único representando seu usuário final, que pode ajudar a monitorar e detectar abusos.
Resposta
Resposta de completação de chat bem-sucedida.Um identificador único para a completação de chat.
O tipo de objeto. Sempre
chat.completion.A marca temporal Unix (em segundos) de quando a completação de chat foi criada.
O modelo usado para a completação de chat.
Uma lista de opções de completação de chat. Pode conter mais de uma se
n for maior que 1.Estatísticas de uso para a requisição de completação.
Esta impressão digital representa a configuração do backend com a qual o modelo é executado. Pode ser usada com o parâmetro
seed para entender quando mudanças no backend foram feitas.