Événements  Events

Decisions from data: Controlling complex systems with reinforcement learning

Decisions from data: Controlling complex systems with reinforcement learning

Conférence en anglais

Decisions from data: Controlling complex systems with reinforcement learning

Speaker

Marc G. Bellemare, Ph.D., MILA, Adjunct Professor at McGill University, Researcher at Google Brain in Montréal. Biography

Abstract

From forest fires to financial markets, many aspects of our environment form dynamical systems that are affected by our decisions. Reinforcement learning is emerging as a ubiquitous paradigm for using data to make optimal decisions in these systems. This talk takes a closer look at why reinforcement learning can be successful where traditional control techniques fail. As a case in point, I will present our recent work on the autonomous navigation of Loon stratospheric balloons, recently published in Nature. We combined reinforcement learning with deep networks to train a flight controller from data. Extensive trials in simulation as well as a 39-day controlled experiment over the Pacific Ocean demonstrate that this controller is far superior to Loon's previous algorithm. I will also review anecdotal evidence showing examples of sophisticated flight behaviour that emerges naturally from the training process but would be difficult to achieve with traditional techniques.

Prendre des décisions à partir des données : Contrôler des systèmes complexes avec l’apprentissage par renforcement

Conférencier 

Marc G. Bellemare, Ph. D., MILA, professeur adjoint à l’Université McGill, chercheur chez Google Brain à Montréal. Biographie

Résumé

Des feux de forêt aux marchés financiers, de nombreux aspects de notre environnement forment des systèmes dynamiques qui sont affectés par nos décisions. L'apprentissage par renforcement apparaît comme un paradigme omniprésent pour utiliser les données afin de prendre des décisions optimales dans ces systèmes. Cette présentation examine de plus près les raisons pour lesquelles l'apprentissage par renforcement peut réussir là où les techniques de contrôle traditionnelles échouent. À titre d'exemple, je présenterai nos récents travaux sur la navigation autonome des ballons stratosphériques Loon, récemment publiés dans Nature. Nous avons combiné l'apprentissage par renforcement avec des réseaux profonds pour entraîner un contrôleur de vol à partir de données. Des essais approfondis en simulation ainsi qu'une expérience contrôlée de 39 jours au-dessus de l'océan Pacifique démontrent que ce contrôleur est bien supérieur à l'algorithme précédent de Loon. Je passerai également en revue quelques exemples de comportements de vol sophistiqués qui émergent naturellement du processus d’entraînement et qui seraient difficiles à obtenir avec des techniques traditionnelles.


Les séminaires scientifiques du CRIM, gratuits et ouverts à tous, sont donnés par des experts de renommée internationale, des collaborateurs universitaires, le personnel de R-D et les étudiants du CRIM. Au programme, des présentations conviviales sur les dernières avancées scientifiques et technologiques.

CRIM's scientific seminars, which are free and open to all, are given by internationally renowned experts, university collaborators, R&D staff and CRIM students and interns. The program features engaging presentations on the latest scientific and technological advances.


Cette présentation sera en anglais. Presentation will be given in English.

Conférence virtuelle. Gratuit, inscription obligatoire.

En vidéoconférence : l'hyperlien sera envoyé quelques jours avant la conférence.

Le 04 juin 2021
De 11h à 12h

A presentation by Marc G. Bellemare, Ph.D., MILA, Adjunct Professor at McGill University, Researcher at Google Brain in Montréal.
Une présentation de Marc G. Bellemare, Ph. D., MILA, professeur adjoint à l’Université McGill, chercheur chez Google Brain à Montréal.
Presentation will be given in English, Conférence en anglais.

S'inscrire
Vous abonner aux infolettres du CRIM S'inscrire à notre infolettre
Suivez-nous sur :   LinkedIn  YouTube