Reinforcement Learning : Définition et Exemples

Le Reinforcement Learning (RL), ou apprentissage par renforcement, est un paradigme d'apprentissage automatique dans lequel un agent logiciel apprend à agir dans un environnement donné en maximisant une notion cumulative de récompense. Contrairement à l'apprentissage supervisé où l'on fournit des exemples étiquetés, l'agent RL découvre par lui-même les meilleures stratégies à travers l'essai et l'erreur.

Le fonctionnement repose sur un cycle fondamental : l'agent observe l'état de son environnement, choisit une action, reçoit une récompense (positive ou négative), puis observe le nouvel état résultant. Au fil de milliers ou millions d'itérations, l'agent développe une politique (policy) — une stratégie qui associe chaque état à l'action la plus avantageuse. Des algorithmes comme Q-Learning, SARSA ou PPO (Proximal Policy Optimization) permettent d'optimiser cette politique.

Le RL a connu un essor spectaculaire grâce à des réalisations marquantes : AlphaGo de DeepMind qui a battu le champion du monde de Go, ou encore les modèles de langage comme ChatGPT qui utilisent le RLHF (Reinforcement Learning from Human Feedback) pour aligner leurs réponses avec les préférences humaines. Cette technique est aussi au cœur de la robotique, des véhicules autonomes et de l'optimisation de systèmes complexes.

En prompt engineering, comprendre le RL est essentiel car il explique pourquoi les modèles de langage actuels se comportent comme ils le font. Le RLHF est la raison pour laquelle un LLM préfère donner des réponses utiles, honnêtes et inoffensives plutôt que de simplement compléter du texte. Cette compréhension permet de mieux formuler ses prompts en tenant compte des biais et comportements induits par l'entraînement par renforcement.