Probabilities and Statistic working group

Première reunion d’equipe

Introduction

Première journée Les probabilités de demain – Grand Est

Le LASSO est une technique très largement utilisée lorsqu’il s’agit à la fois d’estimer les paramètres d’un modèle et d’effectuer une sélection de variables. Il est particulièrement utile pour étudier de grands jeux de données, comme cela peut être le cas en biologie des systèmes par exemple, ce qui le rend très utilisé dans le domaine de l’inférence de réseaux de gènes. Cette méthode peut par ailleurs être enrichie et améliorée par des connaissances préalables sur les régresseurs potentiels, afin de guider la sélection de variables. Dans ce cas, on peut employer un weighted LASSO, dérivé du LASSO original, dans lequel l’ajout de poids spécifiques à chaque variable permet d’encoder des a priori. Le package R `glmnet’ permet à l’utilisateur de spécifier ses propres poids via un paramètre. Nous introduisons ici une nouvelle méthode appelée semi-LASSO qui résout un cas spécifique de weighted LASSO. Son implémentation repose sur l’utilisation du package `glmnet’, mais inclut une première étape de réduction de dimension pour une meilleure optimisation de la fonction de coût du LASSO. Des simulations numériques sont effectuées sur des données synthétiques afin de comparer les résultats obtenus avec le weighted LASSO de `glmnet’ et notre méthode semi-LASSO.

Suite du groupe de travail du 1er février. Le résumé est actualisé.

L’objectif de notre travail est double : établir un barycentre de séries temporelles multidimensionnelles et trouver des directions d’importance. Nous encodons les séries temporelles avec des intégrales de différents ordres de moments, constituant leur signature.

Dans un premier groupe de travail (1er fév.), nous avons introduit la topologie de l’espace des signatures et de leur espace ambiant, ainsi que leurs propriétés fondamentales. L’espace des coefficients de signature est une variété avec une structure de groupe mais sans métrique riemannienne bi-invariante, ce qui rend difficile l’utilisation d’approches Riemanniennes classiques.

Dans cet épisode 2, nous reviendrons sur les barycentres de signatures puis nous introduirons une généralisation de l’Analyse en Composantes Principales aux variétés différentiables. Dans le même esprit que la procédure de calcul de la moyenne, nous cherchons les géodésiques importantes. Importantes dans le sens où les coefficients de signature ont une variance maximale le long de ces géodésiques. Elles décrivent donc bien les données dans l’espace des coefficients de signature. Ces directions principales peuvent être utilisées pour une interprétation qualitative des données, mais aussi pour la réduction de dimension, comme on le fait avec l’analyse en composantes principales lorsqu’on analyse des données dans un espace Euclidien.

English version below: upon request the presentation can be in english, please let the speaker know a.s.a.p..

L’objectif de notre travail est double : établir un barycentre de séries temporelles multidimensionnelles et trouver des directions d’importance. Nous encodons les séries temporelles avec des intégrales de différents ordres de moments, constituant leur signature.
Tout d’abord, nous avons développé une approche pour calculer la moyenne des coefficients de signature. L’espace des coefficients de signature est une variété avec une structure de groupe mais sans métrique riemannienne bi-invariante, ce qui rend difficile l’utilisation d’approches Riemanniennes classiques.
Ensuite, dans le même esprit que la procédure de calcul de la moyenne, nous cherchons les géodésiques importantes. Importantes dans le sens où les coefficients de signature ont une variance maximale le long de ces géodésiques. Elles décrivent donc bien les données dans l’espace des coefficients de signature. Ces directions principales peuvent être utilisées pour une interprétation qualitative des données, mais aussi pour la réduction de dimension, comme on le fait avec l’analyse en composantes principales lorsqu’on analyse des données dans un espace Euclidien.

Title: Mean and Principal Components of time series, a new approach with the signature method.

Abstract: The aim of our work is twofold: average multidimensional time series and find directions of importance. We encode time series with integrals of various moment orders, constituting their signature.
First, we have developed an approach to average signatures coefficients. The space of signature coefficients is a manifold with a group structure but without a bi-invariant Riemannian metric, making it difficult to use classic Riemannian approaches.
Then, in the same spirit as in the averaging procedure, we look for important geodesics. Important in the sense that the signature coefficients have maximum variance along those. Thus, they describe well the data in the space of signature coefficients. Those main directions could be used for a qualitative interpretation of the data but also for dimension reduction, as it is done with the Principal Component Analysis when analyzing data in a Euclidean space.

Le créneau du GDT est reservé pour une réunion d’équipe.

Je présente ici certains travaux que j’ai effectués lors de ma thèse sur les représentations efficaces de fonctions Booléennes, ainsi que certaines explorations probabilistes que j’ai menées par la suite. Nous pouvons définir une fonction Booléenne {0,1}^n -> {0,1} par sa table de vérité, ce qui est en général plus coûteux que d’en donner une formule, e.g., en forme normale disjonctive ou conjonctive. Je présenterai un cadre de travail général qui permet de comparer, en termes de coût, les différentes manières de définir ces formes normales. La comparaison de certaines formes normales est un problème ouvert. Afin d’y répondre, je présenterai une extension de ce cadre de travail pour étudier la distribution des tailles des formules Booléennes minimales, étant données des contraintes structurelles fortes.

Cet exposé, bien que s’inscrivant dans la continuité de celui de la semaine dernière, devrait néanmoins pouvoir être suivi sans souci majeur même par ceux n’y ayant pas assisté.

La semaine dernière, nous avons motivé l’introduction d’une certaine distribution de probabilité P à valeurs dans les polytopes d-dimensionnels, distribution que nous avons introduite comme décrivant, en régime asymptotique, la forme des trous qui subsistent lorsqu’on procède à une « percolation booléenne » de très grand paramètre dans ℝ^d (ce qui consiste à jeter au hasard dans l’espace un très grand nombre de boules interpénétrables). Après avoir rappelé brièvement la description rigoureuse de P, cet exposé sera consacré à l’étude de ses propriétés.

La première question qui nous préoccupera consistera à simuler “directement” P : en effet, la définition que nous avons donnée la semaine dernière ne permettait pas de construire facilement la loi P, mais seulement la loi Q déduite de la précédente en la biaisant par le volume du polytope. Or il se trouve qu’il existe aussi un moyen de décrire P sans passer par une telle mesure biaisée : ce qui permet non seulement d’en faire des simulations, mais surtout de disposer d’une approche plus commode pour en étudier les propriétés ! Cela nous permettra notamment de déterminer le volume moyen des polytopes tirés selon P : quantité qui est directement liée à la densité des trous dans la percolation booléenne.

La question du nombre moyen d’hyperfaces des polytopes tirés selon P est quant à elle liée à l’« indice extrêmal » des cellules de Voronoï de grand circumrayon — je rappellerai ce que tout cela signifie. Je présenterai à ce sujet une idée nouvelle que j’ai eue il y a quelques mois, qui a permis de résoudre et de généraliser une conjecture émise par Pierre CALKA il y a une dizaine d’années : en dimension 2, le nombre moyen de côtés de notre polygone aléatoire vaut 4, et plus généralement en dimension d, le nombre d’hyperfaces du polytope vaut 2d 😀

Enfin, je présenterai quelques autres caractéristiques de la distribution P que je suis arrivé à calculer. Un phénomène remarquable semble se dessiner : pour toutes les valeurs de d et j où j’ai su mener les calculs à bien, le nombre moyen de j-faces du polytope aléatoire de dimension d se trouve être égal au nombre de j-faces du d-hypercube ! Je vous partage cette conjecture avec d’autant plus d’intérêt que je n’en ai pris conscience que le soir après mon premier exposé…! 😋