Temperature

📝 Notes d'étude : Génération de Texte et Température

🧠 Processus de Génération de Texte (Claude)

• Tokenisation : Le texte d'entrée est d'abord découpé en morceaux plus petits appelés tokens.
• Phase de Prédiction : Le modèle détermine quels mots sont possibles ensuite et attribue une probabilité à chaque option.
• Phase d'Échantillonnage (Sampling) : Un token est choisi en fonction des probabilités calculées.
• Répétition : Ce cycle (prédiction → échantillonnage) se répète jusqu'à ce que le message soit complet.

🌡️ Le Paramètre de Température

• Définition : La température est une valeur décimale (entre zéro et un) fournie lors de l'appel au modèle.
• Rôle : Elle influence la distribution exacte des probabilités des tokens.
• Température proche de zéro (0) :
• Résultat : Sortie déterministes.
• Comportement : Le token ayant la probabilité la plus élevée est toujours sélectionné.
• Conséquence : Faible créativité, haute prévisibilité.
• Température élevée ($\uparrow$) :
• Résultat : Augmentation de la variabilité et de la créativité.
• Comportement : Augmente les chances de sélectionner des tokens ayant une probabilité initiale plus faible.
• Conséquence : Plus de diversité, mais moins de prévisibilité.

🛠️ Applications Pratiques

• Faible créativité requise (Ex : Extraction de données) : Utiliser une température basse pour garantir la précision et éviter les hallucinations.
• Haute créativité requise (Ex : Brainstorming, écriture créative, blagues) : Utiliser une température plus élevée pour encourager l'utilisation de tokens moins courants.

Takeaways

• La génération de texte fonctionne par un cycle de tokenisation, de prédiction des probabilités, puis d'échantillonnage.
• Le paramètre de température (entre zéro et un) contrôle la distribution exacte des probabilités des tokens.
• Une température proche de zéro (0) force le modèle à choisir le token le plus probable, assurant une sortie déterministes et prévisible.
• Une température élevée augmente la variabilité et la créativité en favorisant la sélection de tokens moins probables.
• Le choix de la température dépend de l'objectif : basse pour la précision (extraction de données) et élevée pour la créativité (brainstorming).