MIARA dossier thématique

Mastering the game of Go with deep neural networks and tree search

Item

Titre (article, livre complet, chapitre de livre, publication réseaux sociaux, pageWeb, SiteWeb complet, etc.)

Mastering the game of Go with deep neural networks and tree search

Auteur de la référence bibliograpique

David Silver, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser, Ioannis Antonoglou, Veda Panneershelvam, Marc Lanctot, Sander Dieleman, Dominik Grewe, John Nham, Nal Kalchbrenner, Ilya Sutskever, Timothy Lillicrap, Madeleine Leach, Koray Kavukcuoglu, Thore Graepel, Demis Hassabis

Date de publication (AAAA ou AAAA-MM-JJ)

2016-01-28

Résumé

Article de recherche présentant AlphaGo, programme de jeu de go développé par Google DeepMind. Les auteurs rappellent que le go a longtemps été considéré comme le plus difficile des jeux classiques pour l'intelligence artificielle, en raison de son espace de recherche immense et de la difficulté d'évaluer les positions et les coups.

Ils exposent une approche combinant deux réseaux de neurones profonds : des réseaux de valeur servant à évaluer les positions et des réseaux de politique servant à choisir les coups, entraînés par une combinaison inédite d'apprentissage supervisé à partir de parties d'experts humains et d'apprentissage par renforcement à partir de parties jouées contre soi-même. Le réseau supervisé a été entraîné sur trente millions de positions issues d'un serveur de jeu en ligne et prédit les coups d'experts avec une exactitude de 57 %, contre 44,4 % pour l'état de l'art antérieur. Sans aucune anticipation par recherche, ces réseaux jouent déjà au niveau des meilleurs programmes fondés sur la recherche arborescente de Monte-Carlo. Les auteurs présentent également un nouvel algorithme de recherche combinant la simulation de Monte-Carlo aux deux réseaux.

Le programme atteint un taux de victoire de 99,8 % contre les autres programmes de go, remportant 494 des 495 parties d'un tournoi interne, et il bat le champion européen par cinq parties à zéro, première fois qu'un programme informatique l'emporte sur un joueur professionnel humain au go sur plateau de dimension complète, exploit que l'on croyait éloigné d'au moins une décennie. Le match contre Fan Hui, professionnel de deuxième dan et vainqueur des championnats européens de 2013, 2014 et 2015, s'est tenu du 5 au 9 octobre 2015 et comportait cinq parties formelles ainsi que cinq parties informelles, ces dernières remportées par le programme trois à deux. Les auteurs notent que le programme évaluait des milliers de fois moins de positions que Deep Blue lors de son match d'échecs contre Kasparov, compensant par une sélection plus intelligente des positions, et que ses réseaux sont entraînés directement à partir du jeu plutôt que par une fonction d'évaluation conçue à la main.

Numéro (revues scientifiques)

7587

Volume (revues scientifiques)

529

Maison d'édition / Nom de la revue scientifique / Nom du site Web / Nom de l'institution universitaire (thèses) / Institution d'un rapport, etc.

Nature, Nature Publishing Group

Titre du livre (pour chapitre de livre)

Nature

Intervalles des pages (articles)

484-489

Nombre de pages (livres)

6

Format, type de document (ex: image, publication textuelle, vidéo, etc.)

Article de revue

Quel type de publication sur réseau social (ex: statut Facebook, statut Twitter, etc.)

Article de revue avec comité de lecture

URL (adresse Web)

https://doi.org/10.1038/nature16961

Media

mastering go.png