Lien 
vers le site de l'ENS
ÉCOLE NORMALE SUPÉRIEUREPARIS
Lien vers l'accueil
lancer la recherche

» Conférences d’après mars 2011 : nouveau site

 

Atelier Apprentissage 2005–2006

Organisé par : Stéphane Boucheron (univ. Paris VII) et Pascal Massart (univ. Paris XI) et Patricia Reynaud-Bouret (CNRS) et Gilles Stoltz (ENS)

Le groupe de travail Apprentissage a pris la suite l’an dernier de celui plus spécifiquement destiné aux Support Vector Machines [SVM]. Cette année universitaire encore, nous visons à une ouverture plus large à d’autres types d’apprentissage statistique, même si le champ des méthodes de noyaux continuera à être exploré.
Après le mini-cours de l’an dernier, les séances seront de deux types cette année, des exposés de type séminaire, et un groupe de travail plus proprement dit, qui s’intéressera aux méthodes d’apprentissage en grandes dimensions.

Ressources en ligne

  • Ouverture du groupe de lecture Fléau de la dimension (i.e., Curse of Dimensionality) (le 3 octobre 2005) — Pascal Massart

  • Consistency of one Class SVM and related algorithms (le 24 octobre 2005) — Régis Vert

  • In search of graphical models (le 7 novembre 2005) — Guido Consonni
    Graphical models represent a powerful tool in multivariate analysis, since they allow to represent efficiently conditional independence relationships and to streamline computations. In this seminar I shall review some major aspects of current graphical modelling, especially from a Bayesian viewpoint, mostly with reference to the undirected Gaussian case. I shall in particular deal with structural learning, i.e. finding suitable graphical models for a given set of data, distinguishing between decomposable and non-decomposable graphs. I shall review some recent contributions in the are of prior specifications for graphical models, and will also briefly discuss computational issues in model search, especially when the dimension of the graph is large.
  • A propos de ’The Dantzig selector: Statistical estimation when p is much larger than n’ de Candes et Tao (le 14 novembre 2005) — Vincent Rivoirard

  • Sélection itérative de caractéristiques en estimation de régression (le 28 novembre 2005) — Pierre Alquier
    On s’intéresse ici à l’estimation de régression : on essaie de prévoir une variable Y comme fonction d’une variable X, X étant représentée par un ensemble de m caractéristiques ("features"). On dispose pour cela d’un échantillon de couples (X,Y) de taille N, avec possiblement N On commence par donner une borne sur le risque d’un estimateur dans chacun des m modèles définis en utilisant une seule caractéristique. Cette borne motive un algorithme itératif de sélection de caractéristiques pour lequel on peut prouver que chaque caractéristique choisie améliore effectivement les performances de l’estimateur obtenu.
    Les résultats sont présentés dans un premier temps dans le cadre "transductif", c’est-à-dire où l’on essaie d’évaluer la fonction de régression en un ensemble fini de points d’intérêts. On présente ensuite les résultats dans le cadre inductif usuel, qui nécessite plus d’hypothèses.
  • Estimation de modèles graphiques gaussiens (le 16 janvier 2006) — Nicolas Verzelen
    Groupe de lecture Fléau de la dimension
  • Propriétés statistiques des espaces propres de l’analyse en composantes principales à noyau (le 30 janvier 2006) — Laurent Zwald

  • Problèmes de classification à coûts asymétriques (le 20 février 2006) — Francis Bach
    Receiver Operating Characteristic (ROC) curves are a standard way to display the performance of a set of binary classifiers for all feasible ratios of the costs associated with false positives and false negatives. For linear classifiers, the set of classifiers is typically obtained by training once, holding constant the estimated slope and then varying the intercept to obtain a parameterized set of classifiers whose performances can be plotted in the ROC plane. In this talk, we consider the alternative of varying the asymmetry of the cost function used for training. We show that the ROC curve obtained by varying the intercept and the asymmetry—and hence the slope—always outperforms the ROC curve obtained by varying only the intercept. In addition, we present a path-following algorithm for the support vector machine (SVM) that can compute efficiently the entire ROC curve, that has the same computational properties as training a single classifier. Finally, we provide a theoretical analysis of the relationship between the asymmetric cost model assumed when training a classifier and the cost model assumed in applying the classifier. In particular, we show that the mismatch between the step function used for testing and its convex upper bounds usually used for training leads to a provable and quantifiable difference around extreme asymmetries. Conférence en français
  • Obtention d’inégalités oracle exactes par méthodes de prédiction séquentielle (le 6 mars 2006) — Gilles Stoltz

  • Sélection de modèles par agrégation (le 20 mars 2006) — Jean-Yves Audibert
    Nous proposons un algorithme séquentiel, qui à chaque étape, se concentre sur les meilleures fonctions de prédiction et les plus proches de la fonction de prédiction construite à l’étape d’avant. Cet algorithme satisfait une borne simple et fine dans la mesure où l’approche standard en apprentissage statistique, basée sur l’étude des suprema de processus empiriques, ne permet pas de construire d’algorithmes dont la garantie d’efficacité est aussi précise. Nos bornes sur l’erreur de généralisation de cet algorithme complètent l’article pionnier de Cesa-Bianchi et al. (1997) dans lequel des résultats statistiques d’apparence classique étaient retrouvés avec des constantes très précises en utilisant l’analyse du pire des cas. Une des caractéristiques intéressantes de notre étude est de mettre en avant les liens entre le point de vue probabiliste et l’analyse du pire des cas. Cela permet de retrouver les résultats récents de Juditsky, Rigollet et Tsybakov (2005) sur la sélection de modèles, et de les améliorer dans le cas de la régression avec fonction de perte de type Lp, p >= 2 et bruit important, dans la mesure où l’on suppose que la variable à prédire a seulement un moment fini (d’ordre supérieur ou égal à p).
  • Vitesses minimales en dimension infinie dans le cadre du bruit blanc gaussien (le 3 avril 2006) — Patricia Reynaud-Bouret
    Groupe de lecture Fléau de la dimension
    À propos de l’article On estimation and detection of infinite-variable function de Yuri Ingster et Irina Suslina
  • Groupe de lecture ’Fléau de la dimension’ (le 15 mai 2006) — Jean-Michel Marin
    À propos de l’article High dimensional graphs and variable selection with LASSO de Peter Bühlmann et Nicolai Meinshausen
  • Optimal oracle inequality for aggregation of classifiers under low noise condition (le 12 juin 2006) — Guillaume Lecué
    We consider the problem of optimality, in a minimax sense, and adaptivity to the margin and to regularity in binary classification. We prove an oracle inequality, under the margin assumption (low noise condition), satisfied by an aggregation procedure which uses exponential weights. This oracle inequality has an optimal residual: $(log M/n)^{kappa/(2kappa-1)}$ where $kappa$ is the margin parameter, $M$ the number of classifiers to aggregate and $n$ the number of observations. We use this inequality first to construct minimax classifiers under margin and regularity assumptions and second to aggregate them to obtain a classifier which is adaptive both to the margin and regularity. Moreover, by aggregating plug-in classifiers (only $log n$), we provide an easily implementable classifier adaptive both to the margin and to regularity.

Organisateurs

Stéphane_Boucheron

Stéphane Boucheron (univ. Paris VII)

Pascal_Massart

Pascal Massart (univ. Paris XI)

Laboratoire de Mathématique, Université Paris-Sud

Patricia_Reynaud-Bouret

Patricia Reynaud-Bouret (CNRS)

Département de mathématiques et applications de l’Ecole normale supérieure

Gilles_Stoltz

Gilles Stoltz (ENS)

Département de mathématiques et applications de l’Ecole normale supérieure

En savoir plus sur le cycle...


Séminaires de recherche

Atelier Apprentissage 2005–2006

Atelier Apprentissage 2006–2007

Atelier Mathématiques et biologie 2004–2005

Atelier Mathématiques et biologie 2005–2006

Atelier Mathématiques et biologie 2006–2007

Conférences du département d’Études cognitives

Les lundis de la philosophie

Séminaire Archéologie des sanctuaires celtiques

Séminaire Art, création, cognition

Séminaire de l’ITEM : De l’archive manuscrite au scriptorium électronique

Séminaire de l’ITEM : Genèse et correspondances

Séminaire de l’ITEM : Genèses théâtrales

Séminaire de l’ITEM : Genèses, récit d’auteur / récit de critique

Séminaire de l’ITEM : L’écriture et le souci de la langue

Séminaire du Département de biologie

Séminaire du Département de chimie

Séminaire du Laboratoire de géologie

Séminaire du Laboratoire de météorologie dynamique

Séminaire du Laboratoire de physique statistique

Séminaire Environnement et société

Séminaire européen Sciences sociales et santé mentale

Séminaire général du Département d’informatique

Séminaire général du Département de physique

Séminaire général du Département TAO

Séminaire Histoire de l’enseignement supérieur français, XIX°–XX° siècles

Séminaire Histoire et philosophie des mathématiques

Séminaire Littérature et morale à l’âge classique

Séminaire Louis Pasteur de l’ENS : The design of photosynthesis

Séminaire MHD (SEMHD)

Séminaire Modélisation et méthodes statistiques en sciences sociales

Séminaire Musique et mathématiques

Séminaire Musique et philosophie

Séminaire Philosophie et mathématiques

Séminaire Vision algorithmique et biologique

Séminaire Vision artificielle / Équipe Willow

Séminaire Visualiser et modéliser le cerveau