Le deep learning doit encore progresser pour être plus efficace

Les données sont souvent considérées comme le nouveau pétrole de l’économie mondiale. Mais une autre analogie mérite notre attention : selon Neil Lawrence, d’Amazon, elles correspondraient plutôt au charbon à l’aube de la première révolution industrielle, et le rôle de la machine à vapeur reviendrait aujourd’hui aux algorithmes d’apprentissage profond.

Le deep learning (ou apprentissage profond) permet déjà de réaliser un grand nombre de tâches. Reconstruire un visage à partir d’une image floue ou imiter le style d’écriture d’une personne, par exemple. Mais il faudra que cette technologie progresse encore pour être en mesure de diagnostiquer une maladie rare. Cette quête d’efficacité est comparée par Neil Lawrence, professeur en apprentissage automatique à l’Université de Sheffield détaché auprès d’Amazon, aux améliorations progressives qui ont suivi l’invention de la machine à vapeur par Thomas Newcomen, au début du XVIIIe siècle, avant de déclencher la première révolution industrielle. Un processus long de près de soixante-dix ans que l’on peut résumer ainsi : s’assurer que l’on peut faire plus, avec moins.

 

Les données sont au deep learning ce que le charbon a été à la machine à vapeur

 

Pour fonctionner, la machine à vapeur nécessitait du charbon, et beaucoup, au début. Mais l’invention de la chambre de condensation par James Watt en 1769 a permis de décupler son efficacité et donc de produire plus, avec moins de charbon… Les algorithmes d’apprentissage profond, eux, se nourrissent de données. Les domaines dans lesquelles ils réussissent, relève Neil Lawrence, sont ceux dans lesquelles les data surabondent. Et les tâches qu’ils permettent d’accomplir, même si elles s’avèrent très utiles en pratique, demeurent assez éloignées du Graal visé par exemple par Google d’élaborer une intelligence artificielle « universelle » capable d’apprendre aussi vite et aussi bien qu’un être humain.

Mais les chercheurs travaillent d’arrache-pied pour répondre à cette question de l’efficacité des données, un peu comme d’autres pionniers, en leur temps, planchaient sur l’entropie (second principe de la thermodynamique). Une première approche consiste à concevoir des réseaux de neurones — le modèle mathématique à la base de l’apprentissage profond — dits progressifs, c’est-à-dire capables de se spécialiser pas à pas dans de nouvelles tâches, sans perdre en route les premières. C’est par exemple la méthode employée par Google pour améliorer la conduite de sa voiture autonome.

Une autre approche consiste à utiliser un apprentissage par renforcement — c’est-à-dire avec une démarche d’essais et d’erreurs — pour construire une représentation symbolique du monde et ainsi permettre à un système de prise de décision d’expliquer son raisonnement à un être humain. Mais quel que soit le chemin emprunté, l’apprentissage profond devra comprendre comment ne pas oublier pour gagner en efficacité.

 

Lire l’article (en anglais)

 

En complément :

Un article sur l’apprentissage profond et la science,

et un autre au sujet du service Google Translate et des réseaux neuronaux.