Lien 
vers le site de l'ENS
ÉCOLE NORMALE SUPÉRIEUREPARIS
Lien vers l'accueil
lancer la recherche

» Conférences d’après mars 2011 : nouveau site

1605

Atelier Apprentissage 2006–2007

< précédent | suivant >

Apprentissage par renforcement et apprentissage statistique
Rémi Munos (Inria)

22 janvier 2007

L’apprentissage par renforcement s’intéresse à l’acquisition automatisée de capacités pour la prise de décisions en environnement complexe et incertain. Ce domaine de recherche est né des interactions entre la psychologie expérimentale et les neurosciences dans les années 70 et se modélise naturellement comme un problème de contrôle optimal que l’on désire résoudre de manière adaptative. En effet, il s’agit d’apprendre une stratégie d’action optimale « par l’expérience» , ou par « essais-erreurs» , c’est à dire en fonction des récompenses observées résultantes des prises de décisions passées. Remarquons que ce type d’apprentissage est plus difficile que l’apprentissage supervisé car l’information dont on dispose pour apprendre - le renforcement - est moins informatif qu’en apprentissage supervisé, où l’on dispose de la sortie désirée. On peut néanmoins concevoir des algorithmes d’apprentissage par renforcement mettant en oeuvre des séquences de problèmes d’apprentissage supervisés.
Dans cet exposé, je présenterai le cadre de la programmation dynamique et expliquerai la nécessaire utilisation de fonctions approchées pour résoudre des problèmes de grande dimension. Je justifierai l’intérêt de développer une analyse en norme Lp (essentiellement L1 ou L2) en programmation dynamique, au lieu de l’analyse usuelle en norme sup. Les conséquences en sont la possibilité d’analyser la performance de méthodes d’apprentissage par renforcement (et de programmation dynamique) combinées à des représentations de fonctions, directement en fonction de la capacité des espaces fonctionnels considérés, établissant ainsi des premiers liens entre l’apprentissage par renforcement et l’apprentissage statistique.

Écouter
pictogrammeformat audio mp3 - 0 O

- Visualiser
- Télécharger
pictogrammeformat quicktime mov, vidéo à la demande / streaming

Télécharger
pictogrammeformat vidéo mp4 à télécharger - 181.61 Mo

Télécharger
pictogrammeformat vidéo windows media video à télécharger - 134.32 Mo

Rémi Munos Rémi Munos (Inria)
équipe SEQUEL, INRIA Futurs