Frequency Penalty : Définition et Exemples

Le Frequency Penalty (pénalité de fréquence) est un hyperparamètre disponible dans les API de modèles de langage comme GPT d'OpenAI. Il applique une pénalité croissante à chaque token en fonction du nombre de fois où celui-ci a déjà été utilisé dans la réponse générée. Plus un mot apparaît fréquemment, plus sa probabilité d'être sélectionné à nouveau diminue.

Concrètement, ce paramètre fonctionne en soustrayant une valeur proportionnelle au nombre d'occurrences d'un token dans les logits (scores de probabilité) avant l'échantillonnage. Par exemple, avec un Frequency Penalty de 0.5, un mot apparu 3 fois verra son score réduit de 1.5 (3 × 0.5). Cette pénalité est linéaire : elle augmente à chaque nouvelle occurrence, contrairement au Presence Penalty qui applique une pénalité fixe dès la première apparition.

Le paramètre accepte généralement des valeurs entre 0 et 2. À 0, aucune pénalité n'est appliquée et le modèle peut répéter librement les mêmes mots. Des valeurs modérées (0.3-0.8) permettent de réduire les répétitions tout en conservant un texte naturel. Des valeurs élevées (au-delà de 1.5) forcent le modèle à utiliser un vocabulaire très varié, au risque de produire des formulations artificielles ou incohérentes.

En prompt engineering, le Frequency Penalty est particulièrement utile pour la génération de contenu créatif, la rédaction d'articles ou toute tâche où la diversité lexicale est souhaitable. Il se distingue du paramètre Temperature, qui contrôle l'aléatoire global de la génération, en ciblant spécifiquement le problème de la répétition de termes.