Date/heure
21 juin 2024
11:00 - 12:00
Oratrice ou orateur
Antoine Lejay (IECL)
Catégorie d'évènement Séminaire EDP, Analyse et Applications (Metz)
Résumé
L’algorithme word2vec (Mikolov et al, 2013) permet d’associer des vecteurs à des mots.
Ces plongements de mots, sous des formes plus sophistiquées, forment le cœur des Grands Modèles de Langues (LLM) utilisés par les outils d’IA dont tout le monde a entendu parler.
Si word2vec est présenté comme un algorithme de réseaux de neurones, il peut-être décrit très simplement comme un problème d’optimisation impliquant deux matrices et rien de plus.
Dans cet exposé, nous présenterons un état des lieux de notre compréhension de cet algorithme par une approche de rétro-ingénierie, et des questions ouvertes.
D’après un travail commun avec Didier Gemmerlé, Lionel Lenôtre, Pierre Mercuriali et Saïd Toubra.