Journées MAS 2010

Lois à priori parcimonieuses et estimation en grande dimension (pdf)

Session organisée par Pierre Alquier (Université Paris 7)

Dans le but d'obtenir des résultats théoriques (inégalités oracle) et de bonnes performances pratiques dans le contexte de l'estimation en grande dimension (et de la sélection de modèle), il est nécessaire de controler la complexité des estimateurs proposés. Dans les travaux PAC-Bayésiens (Catoni, Dalalyan et Tsybakov, ...) ainsi que Bayésiens (par exemple Ghosal, Lember et van der Vaart), une loi \pi a priori sur le paramètre permet ce contrôle.
Considérons par exemple la régression linéaire en grande dimension: y \sim\mathcal{N}(X\beta^{*},\sigma^{2} I_{n}) pour \beta\in\mathbf{R}^{p} avec p>n. Les méthodes de moindres carrés penalisés, pour \lambda\geq 0, \gamma\geq 0,
\min_{\beta} \left\{\|y-X\beta\|_{2}^{2}+\lambda \sum_{j=1}^{p} |\beta|^{\gamma}\right\},
qui incluent les pénalisations de type AIC ou BIC (pour \gamma=0), le LASSO (Tibshirani, pour \gamma=1) et la Ridge Regression (pour \gamma=2) peuvent etre vues comme des maximum a posteriori d'estimateurs bayésiens avec comme loi a priori \pi(d\beta) \propto \exp(-\lambda\sum_{j=1}^{p} |\beta|^{\gamma})d\beta. Cet exemple illustre l'importance du choix de \pi sur les propriétés de l'estimateur obtenu: implémentable, ou non, pour de grandes valeurs de p; possibilité d'estimer correctement le support du paramètre ou non, etc...
L'objectif de cette session est d'illustrer l'importance de \pi dans les propriétés th\éoriques de l'estimateur obtenu, ainsi que dans ses performances pratiques dans des applications.

Exposé de 40 minutes Arnak Dalayan (Ecole des Ponts) en collaboration avec Alexander Tsybakov Sparsity oracle inequalities for mirror avaraging aggregate transparents

We consider the problem of aggregating the elements of a (possibly infinite) dictionary for building a decision procedure, that aims at minimizing a given criterion. Along with the dictionary, an independent identically distributed training sample is assumed available on which the performance of a given procedure can be tested. In a fairly general set-up, we establish an oracle inequality for the Mirror Averaging aggregate based on any prior distribution. This oracle inequality is applied in the context of sparse coding for different tasks of statistics and machine learning such as regression, density estimation and binary classification.

Exposé de 20 minutes Sophie Donnet (Université Paris Dauphine) en collaboration avec Judith Rousseau Modélisation de pannes sur un réseau électrique souterrain transparents

Nous nous intéressons à la modélisation des pannes sur un réseau électrique souterrain, ce réseau étant composé de deux types de matériels: câbles et accessoires. Après une panne sur l'un ou l'autre des matériels, la partie endommagée est retirée et remplacée par un ou deux accessoires (selon que la panne a lieu sur un accessoire ou sur le câble lui-même). Ainsi la structure du réseau est modifiée au cours du temps. La modélisation proposée vise à prendre en compte l'évolution temporelle du réseau, et en particulier l'évolution du nombre d'accessoires dans le réseau dans le but d'estimer les taux de panne des différentes composantes du réseau. Afin de ne pas s'appuyer sur les relevés des types de pannes (câble ou accessoire), nous supposons les causes des incidents inconnues. Pour ce faire, nous proposons un modèle basé sur un processus de Poisson. Pour estimer les paramètres impliqués dans la modélisation des pannes, nous considérons une approche bayésienne. La loi a posteriori est obtenue par un algorithme de Gibbs. Cependant une première étude sur données simulées a montré l'inluence cruciale du nombre d'accessoires présents sur le réseau au début de l'étude. Ce nombre initial est inconnu dans la pratique et doit être estimé. Dans ce travail, nous proposons de construire une loi a priori sur ce nombre initial reposant sur le comportement asymptotique du processus.

Exposé de 20 minutes Joseph Salmon (Université Paris 7) en collaboration avec Erwan Le Pennec PAC-Bayesian approach for kernel methods

In this work on regression with Gaussian error, we study an agregation procedure relying on the exponential weigthing scheme described in Dalalyan and Tsybakov. We obtain PAC-Bayes oracle inequalities in this context valid in both the fixed design case and the random design case. These inequalities are obtained by techniques derived from those described in Catoni and Audibert. We apply those results to the selection of an "optimal" window for Nadaraya-Watson type estimators and obtain a provably efficient estimator implemented with a MCMC-type algorithm similar to the one proposed by Dalalyan and Tsybakov