Temperature

📝 Notes de Cours : Génération de Texte et Température

🧠 Processus de Génération de Texte (Claude)

• Tokenisation : Le texte d'entrée est d'abord décomposé en petits morceaux appelés tokens.
• Phase de Prédiction : Le modèle détermine tous les tokens possibles qui pourraient suivre et leur assignent une probabilité.
• Phase d'Échantillonnage : Un token est choisi en fonction de ces probabilités.
• Répétition : Ce cycle (prédiction → échantillonnage) se répète jusqu'à ce que le message soit complet.

🌡️ Le Paramètre de Température (Temperature)

• Définition : La température est un paramètre décimal fourni lors de l'appel au modèle.
• Plage de Valeurs : Elle se situe entre zéro et un (0 à 1).
• Rôle : Elle influence la distribution des probabilités des tokens choisis.

📉 Effets de la Température

• Température Faible (Proche de 0) :
• Le token ayant la probabilité la plus élevée est le plus susceptible d'être choisi.
• Résultat : Sortie déterministes (prévisible et cohérente).
• Température Élevée (Proche de 1) :
• Augmente la probabilité de sélectionner des tokens ayant une probabilité initiale plus faible.
• Résultat : Sortie plus créative et variée.

🛠️ Applications Pratiques

• Tâches de Précision (Exemple : Extraction de données) : Utiliser une température faible pour minimiser le hasard et garantir la fidélité au texte source.
• Tâches Créatives (Exemple : Brainstorming, écriture) : Utiliser une température élevée pour encourager l'utilisation de mots moins communs et générer des idées originales.

⚙️ Utilisation avec l'API Bedrock

• Valeur par Défaut : La température est par défaut fixée à 1.
• Mise en Œuvre : Le paramètre est ajusté en passant la valeur souhaitée dans le dictionnaire inference_config lors de l'appel au modèle.

Takeaways

• Le processus de génération de texte commence par la tokenisation, suivi d'un cycle de prédiction et d'échantillonnage des tokens.
• La température est un paramètre décimal (0 à 1) qui contrôle la distribution des probabilités des tokens choisis.
• Une température faible conduit à des sorties déterministes, prévisibles et cohérentes (idéal pour la précision).
• Une température élevée augmente le hasard, favorisant des sorties créatives et variées (idéal pour le brainstorming).