Prompt système. Un prompt système est un moyen de fournir du contexte et des instructions au modèle. Peut être une chaîne de caractères ou un tableau de blocs de contenu.
Quantité de hasard injectée dans la réponse. Varie de 0.0 à 1.0. Utilisez une temperature plus proche de 0.0 pour les tâches analytiques/à choix multiples, et plus proche de 1.0 pour les tâches créatives et génératives.
Utilise l’échantillonnage par noyau. Dans l’échantillonnage par noyau, nous calculons la distribution cumulative sur toutes les options pour chaque token suivant par ordre décroissant de probabilité et la coupons une fois qu’elle atteint une probabilité particulière spécifiée par top_p.
Échantillonne uniquement parmi les K meilleures options pour chaque token suivant. Utilisé pour supprimer les réponses à faible probabilité de la « longue traîne ». Recommandé pour les cas d’utilisation avancés uniquement.
Valeurs prises en charge : auto (par défaut, le modèle décide), any (le modèle doit utiliser un outil), tool (le modèle doit utiliser un outil spécifique).
La raison pour laquelle le modèle a cessé de générer. Peut être end_turn (le modèle a atteint un point d’arrêt naturel), max_tokens (a dépassé max_tokens ou le maximum du modèle), stop_sequence (une de vos séquences d’arrêt personnalisées a été générée) ou tool_use (le modèle a invoqué un ou plusieurs outils).