Word2vec : Définition et Exemples

Word2vec est une technique de traitement du langage naturel (NLP) introduite en 2013 par Tomas Mikolov et son équipe chez Google. Elle repose sur des réseaux de neurones peu profonds entraînés sur de vastes corpus de texte pour produire des représentations vectorielles des mots, appelées "word embeddings". L'idée fondamentale est que des mots apparaissant dans des contextes similaires possèdent des significations proches, ce qui se traduit par une proximité dans l'espace vectoriel.

Le modèle propose deux architectures principales : CBOW (Continuous Bag of Words), qui prédit un mot à partir de son contexte, et Skip-gram, qui prédit le contexte à partir d'un mot donné. Skip-gram fonctionne particulièrement bien avec les mots rares, tandis que CBOW est plus rapide à entraîner et performant sur les mots fréquents. Ces deux approches permettent d'apprendre des représentations denses et compactes, typiquement de 100 à 300 dimensions.

L'une des propriétés les plus remarquables de Word2vec est sa capacité à capturer des relations analogiques. L'exemple le plus célèbre est l'équation vectorielle : roi - homme + femme ≈ reine. Cette arithmétique des mots montre que le modèle encode non seulement la similarité sémantique, mais aussi des structures relationnelles complexes comme le genre, les capitales de pays ou les conjugaisons verbales.

Bien que Word2vec ait été largement supplanté par des modèles contextuels comme BERT et GPT, il reste une pierre angulaire de la compréhension du NLP moderne. Les principes qu'il a popularisés — représentation distribuée, apprentissage par contexte, espace vectoriel sémantique — sont au cœur de tous les grands modèles de langage actuels, y compris ceux utilisés en prompt engineering.