Avec ses 8 touches, ce piano de Google transforme n’importe qui en virtuose

Des ingénieurs de Magenta, le projet de recherche de Google sur l'IA et la musique, ont créé une manette à 8 touches. Elle permet de jouer du piano sans fausse note, grâce à un réseau de neurones intelligents.

Les 8 boutons du « Piano Genie » suffisent pour contrôler les 88 touches d’un véritable instrument de musique. L’objet a été créé par des ingénieurs de Magenta, le projet de recherche né dans le giron de Google, qui s’intéresse aux usages de l’intelligence artificielle dans la création musicale et artistique.

Les ingénieurs Chris Donahue, Ian Simon et Sander Dieleman ont présenté le 15 octobre 2018 leur « interface musicale intelligente », qui consiste en une manette liée à un piano, équipée de 8 touches colorées. Comme le soulignent ses inventeurs, l’objet rappelle le jeu Rock Band (qui s’est adapté l’année dernière au format de la réalité virtuelle).

L’objet tangible, que l’on peut apercevoir dans une série de vidéos, s’accompagne d’une version en ligne que vous pouvez vous-même utiliser pour découvrir le fonctionnement du Piano Genie. Cette version est très facile à utiliser, puisqu’il suffit d’appuyer sur les touches 1 à 8 pour commencer à jouer de la musique.

UN AUTO-ENCODEUR ENTRAINÉ AVEC 1 400 MORCEAUX

Comment les ingénieurs s’y sont-ils pris pour que le piano joue une mélodie harmonieuse, alors que la manette n’a que 8 touches ? Ils ont créé un auto-encodeur ; un réseau de neurones qui réorganise les données de manière à « réduire » l’ensemble des informations, comme ici avec les 8 touches qui simplifient l’usage du piano.

L’auto-encodeur utilisé pour entraîner le Piano Genie. // Source : Google Magenta

Cet auto-encodeur a été entrainé grâce à des « performances au piano existantes » : il a fallu utiliser un encodeur, qui a associé des séquences de notes de piano à des séquences de pression sur les 8 boutons, ainsi qu’un décodeur qui a interprété les mêmes séquences en notes au piano — le schéma ci-dessus résume ce fonctionnement, à la seule différence qu’il y a 8 boutons de contrôle sur le Piano Genie, et non 4.

Les ingénieurs ont entraîné ce réseau de neurones à partir d’une base de 1 400 morceaux interprétés à l’occasion du Minnesota International Piano-E-Compétition, une concours organisé à Minneapolis. Il est cependant possible d’entraîner le piano avec les morceaux de son choix : les ingénieurs ont mis à disposition les outils nécessaires sur la plateforme GitHub.