Temperature

Notes de Cours : Génération de Texte et Température

**I. Processus de Génération de Texte (Modèle Claude)**

• Entrée (Input) → Tokenisation : Le texte fourni est décomposé en morceaux plus petits appelés tokens.
• Phase de Prédiction : Le modèle détermine tous les tokens possibles qui pourraient suivre et attribue une probabilité à chacun.
• Phase d'Échantillonnage (Sampling) : Un token est finalement choisi en fonction de ces probabilités.
• Répétition : Ce processus est répété token par token pour former la phrase ou le message complet.

**II. Le Paramètre de Température**

• Définition : La température est un paramètre décimal (valeur entre 0 et 1) qui influence la distribution des probabilités des tokens.
• Température = 0 (Sortie Déterministes) :
• Le modèle sélectionne toujours le token qui possède la probabilité la plus élevée.
• Résultat : Sortie prévisible et répétitive.
• Température > 0 (Sortie Créative) :
• Augmenter la température augmente la chance de sélectionner des tokens ayant une probabilité initiale plus faible.
• Résultat : Augmentation de l'aléatoire et de la créativité.

**III. Applications Pratiques**

• Faible Température (Proche de 0) :
• Utilisation : Tâches nécessitant précision et faible créativité (ex. : extraction de données spécifiques).
• Objectif : Sortie déterministes.
• Haute Température (Proche de 1) :
• Utilisation : Tâches créatives (ex. : brainstorming, rédaction, création de contenu marketing).
• Objectif : Encourager des idées originales et variées.

**IV. Mise en Œuvre**

• La température est un argument que l'on passe lors de l'appel à la fonction du modèle.

Takeaways

• Le processus de génération de texte se déroule par tokenisation, où le modèle prédit et sélectionne des tokens un par un en fonction de probabilités.
• La température est un paramètre décimal (entre 0 et 1) qui contrôle la distribution des probabilités des tokens, influençant ainsi le niveau d'aléatoire.
• Une température égale à 0 force le modèle à choisir systématiquement le token le plus probable, assurant une sortie déterministes et prévisible.
• Une température supérieure à 0 augmente la probabilité de sélectionner des tokens moins probables, favorisant ainsi la créativité et l'originalité.
• Les faibles températures sont utilisées pour les tâches nécessitant précision (extraction de données), tandis que les hautes températures sont idéales pour le brainstorming.