Quantization : Définition et Exemples

La quantization (ou quantification) est un processus qui consiste à convertir les paramètres d'un modèle de langage, habituellement stockés en nombres à virgule flottante de haute précision (FP32 ou FP16), vers des représentations numériques de plus faible précision comme INT8 ou INT4. Cette réduction de précision permet de diminuer drastiquement l'empreinte mémoire du modèle et d'accélérer les calculs d'inférence.

Concrètement, un modèle comme LLaMA 70B nécessite environ 140 Go de mémoire en FP16. Grâce à une quantization en 4 bits (Q4), ce même modèle peut tenir dans environ 35 Go, le rendant exécutable sur du matériel grand public. Cette compression s'accompagne d'une légère perte de qualité, mais les techniques modernes comme GPTQ, AWQ ou GGUF minimisent cette dégradation de manière remarquable.

Il existe deux approches principales : la quantization post-entraînement (PTQ), appliquée sur un modèle déjà entraîné, et la quantization-aware training (QAT), qui intègre la contrainte de précision réduite directement pendant l'entraînement. La PTQ est la plus répandue car elle ne nécessite pas de ré-entraîner le modèle, tandis que la QAT offre généralement de meilleurs résultats au prix d'un coût computationnel plus élevé.

Pour les utilisateurs de prompts, la quantization est importante car elle détermine la qualité des réponses obtenues lorsqu'on utilise un modèle local. Un modèle quantifié en Q8 sera quasi identique à l'original, tandis qu'un Q2 montrera des dégradations notables, notamment sur les tâches de raisonnement complexe ou la génération de code. Choisir le bon niveau de quantization est un compromis entre ressources disponibles et qualité attendue.