Serveur d'impression

L'informatique neuromorphique trouve une nouvelle vie dans l'apprentissage automatique – Bien choisir son serveur d impression

Le 1 juillet 2019 - 10 minutes de lecture

Depuis quarante ans, des efforts sont en cours pour construire des ordinateurs qui pourraient imiter une partie de la structure du cerveau dans la façon dont ils résolvent des problèmes. À ce jour, ils ont montré peu de succès pratiques. Mais l’espoir d’une informatique dite neuromorphique est éternel, et l’effort a récemment conquis de surprenants champions.

Le laboratoire de recherche de Terry Sejnowski de l’Institut Salk de La Jolla a proposé cette année une nouvelle façon de former des neurones «dopants» à l’aide de formes classiques d’apprentissage automatique, appelées «réseaux de neurones récurrents» ou «RNN».

Et Hava Siegelmann, qui a mené des travaux pionniers sur des conceptions informatiques alternatives pendant des décennies, a proposé avec ses collègues un système de neurones dopants qui effectuerait ce que l’on appelle un apprentissage «non supervisé».

L'informatique neuromorphique est un terme générique qui désigne une série d'efforts visant à créer un calcul qui ressemble à un aspect de la formation du cerveau. Le terme revient au travail du légendaire pionnier de l’informatique, Carver Mead, au début des années 1980, qui s’intéressait à la meilleure façon de communiquer avec les collections de transistors de plus en plus denses. Mead a compris que les câbles entre les transistors devraient atteindre une partie de l'efficacité du câblage neuronal du cerveau.

Depuis lors, de nombreux projets ont été réalisés, notamment les travaux de Winfried Wilcke du centre de recherche Almaden d’IBM à San Jose, ainsi que l’effort sur la puce TrueNorth chez IBM; et le projet Loihi chez Intel, entre autres. Scott Fulton III de ZDNet a eu un bon résumé plus tôt cette année de certains des développements les plus intéressants en informatique neuromorphique.

Également: L'intelligence artificielle change toute la nature du calcul

Jusqu’à présent, ces projets n’ont guère eu de succès concret et ont suscité un scepticisme considérable. Au cours de la conférence internationale sur les circuits à l'état solide à San Francisco, le responsable de Facebook de A.I. recherche, Yann LeCun, a donné une conférence sur les tendances en matière de puces pour un apprentissage en profondeur. Il était quelque peu indifférent au travail sur les réseaux neuronaux à pics, provoquant une réaction en retour plus tard au cours de la conférence par Mike Davies, dirigeant d'Intel, qui dirige le projet Loihi. La riposte de Davies à LeCun a ensuite incité LeCun à faire une autre offensive contre les neurones dopants sur sa page Facebook.

"Si je comprends bien, il n'a pas été clairement démontré que les réseaux de neurones à spiking (implémentés dans un logiciel ou dans un matériel) peuvent apprendre une tâche complexe", a déclaré LeCun. "En fait, je ne suis pas sûr qu'un réseau de neurones spiking ait été proche des performances de pointe des réseaux de neurones de variétés de jardin."

Mais le laboratoire de Sejnowski et l'équipe de Siegelmann du Laboratoire de systèmes neuronaux et dynamiques d'inspiration biologique de l'Agence de recherche sur les projets de recherche avancée de la Défense offrent un nouvel espoir.

Sejnowski, lors d'une conversation avec ZDNet à l'Institut Salk en avril, a prédit un rôle majeur pour les neurones dopants à l'avenir.

"Il y aura un autre grand changement, qui se produira probablement dans les cinq à dix prochaines années", a déclaré Sejnowski.

"Le cerveau est incroyablement efficace, et l'une des choses qui le rend efficace, c'est parce qu'il utilise des pointes", a observé Sejnowski. "Si quelqu'un pouvait obtenir un modèle de neurone à pic pour mettre en œuvre ces réseaux profonds, la quantité d'énergie dont vous avez besoin serait divisée par un facteur d'au moins mille. Et ensuite, elle deviendrait suffisamment bon marché pour être omniprésente, ce serait comme des capteurs dans les téléphones ".

Par conséquent, Sejnowski pense que les neurones en surpopulation peuvent être un puissant stimulant pour l'inférence, la tâche de prédiction, sur des dispositifs informatiques de pointe à énergie réduite tels que les téléphones mobiles.

sejnowski-2019-transfert-apprentissage-de-spiking-neural-networks.png

Le pionnier de l'apprentissage automatique, Terry Sejnowski, et son équipe du Salk Institute à La Jolla, en Californie, ont mis au point un moyen de transférer les paramètres d'un réseau de neurones normal vers un réseau de neurones dopants, afin de pallier le manque traditionnel de "règle d'apprentissage" par qui pour former de tels neurones dopants. Sejnowski prédit un rôle important pour ce type d’informatique neuromorphique dans les années à venir.

Kim et. al., 2019.

Le travail du laboratoire de Sejnowski, écrit par Robert Kim, Yinghao Li et Sejnowski, a été publié en mars. Intitulée "Cadre simple pour la construction de réseaux de neurones récurrents à pics fonctionnels", la recherche, publiée sur le serveur de pré-impression Bioarxiv, décrit la formation d'un réseau de neurones récurrents standard, ou "RNN", puis transfère ces paramètres à un réseau de neurones à pics. L'idée est d'éviter le fait que les neurones dopants n'ont actuellement aucun moyen de les entraîner via la descente de gradient, pilier de l'apprentissage automatique conventionnel.

Les neurones dopants ne correspondent pas à la règle d'apprentissage standard de l'apprentissage en profondeur, en d'autres termes. La nouvelle recherche est une forme de ce que l'on appelle "l'apprentissage par transfert", qui consiste à développer des paramètres dans un endroit et à les transférer dans un nouvel endroit, afin de pallier cette lacune des neurones dopants.

Également: Qu'est-ce que l'ingénierie neuromorphique et pourquoi a-t-elle déclenché une révolution analogique?

Comme les auteurs l'expliquent, "la nature non différenciable des signaux de pointes empêche l'utilisation de méthodes basées sur la descente de gradient pour former directement des réseaux de pointes".

"Notre méthode consiste à former un RNN (réseau de neurones récurrent) à débit continu et variable en utilisant une méthode basée sur la descente de gradient, puis à transférer la dynamique apprise du réseau de débit avec les contraintes d'un modèle de réseau à impulsion de manière individuelle. . "

siegelmann-darpa-2019-une-méthode-d'apprentissage-pour-spiking-neural-nets.png "data-original =" https://zdnet1.cbsistatic.com/hub/i/2019/07/01/8d110329-8f8d -47b0-b16c-a832cb746191 / 23d78385daa3b4ab6654cb991b37dbc8 / siegelmann-darpa-2019-une-méthode-d'apprentissage-pour-spiking-neural-nets.png

Hava Siegelmann et ses collègues du Laboratoire de systèmes neuronaux et dynamiques inspirés biologiquement de la DARPA annoncent des progrès dans la formation de neurones dopants à l'aide d'un mécanisme de "vote" modifié qui permet de choisir entre les sorties de neurones individuels.

Saunders et al, 2019.

"Cela prend un réseau déjà formé", a expliqué Sejnowski. "La prochaine étape consistera à apprendre sur la pointe. Nous pensons que nous pouvons résoudre ce problème aussi, mais il est encore tôt."

Reste à savoir qui créera réellement ces circuits, bien que Sejnowski ait vaguement évoqué la possibilité qu’une entreprise telle que Qualcomm, le principal fournisseur de puces pour bandes de base mobiles, puisse être candidate.

Les travaux du groupe Siegelmann à la DARPA sont de même nature. Intitulé "Réseaux de neurones en réseau connectés localement pour l'apprentissage de fonctions non supervisées", publié en avril sur arXiv, l'article est rédigé par Daniel J. Saunders, Devdhar Patel et Hananel Hazan, aux côtés de Siegelmann, et de Robert Kozma, affiliation avec le centre d'optimisation intelligente à grande échelle et de réseaux du département de mathématiques de l'université de Memphis, à Memphis (Tennessee).

Comme le groupe de Sejnowski, le groupe de Siegelmann observe que le problème est le manque de procédure de formation ou de règle d'apprentissage appropriée. "Il existe peu de méthodes pour former les SNN à partir de rien et acquérir des capacités d'apprentissage polyvalentes", écrivent-ils, "leurs capacités dépendent fortement du domaine ou du jeu de données, et nécessitent beaucoup de prétraitement des données et d'ajustement des hyper-paramètres pour atteindre de bonnes performances ".

Pour relever ce défi, l'équipe de Siegelmann a développé l'an dernier un progiciel de programmation basé sur Python, appelé "BindsNET", qu'ils avaient utilisé dans des études précédentes pour effectuer une sorte d'apprentissage par transfert qui ressemblait à celui du groupe de Sejnowski. (BindsNET est posté sur Github.)

À l’aide de BindsNET, le groupe de Siegelmann a simulé dans le travail actuel la construction de réseaux neuronaux artificiels peu profonds composés de neurones dopants. Le réseau peu profond est analogue à un réseau de neurones convolutionnel en apprentissage automatique conventionnel, écrivent-ils. Pour résoudre le problème d’une règle d’apprentissage, ils utilisent ce qu’on appelle "la plasticité dépendant du timing des pointes" ou STDP, qui agit comme une sorte de mécanisme de vote qui compte le nombre de fois que des neurones individuels se déclenchent en réponse à des données, ainsi que la séquence. dans lequel ils tirent. Les neurones qui sont entrés avec des patchs de données d'image votent sur leur candidat pour la classe d'image, et la mise en commun de leurs votes forme un classificateur d'image.

La célèbre base de données MNIST, composée de chiffres manuscrits, sert de test. Les neurones sont chargés de classer le chiffre représenté par une image.

Siegelmann & Co. indique que l'architecture de leur réseau de neurones s'est révélée beaucoup plus efficace que les autres approches utilisant des neurones à pic, ce qui signifie qu'il a fallu moins de passages dans les données d'apprentissage pour obtenir des performances identiques ou meilleures sur les données de test. Dans le contexte des neurones dopants, l’objectif principal du document est de créer un agencement plus efficace de neurones qui "divisent et conquièrent l’espace de saisie en apprenant une représentation répartie". Cela implique que les neurones dopants peuvent être plus efficaces à l'avenir en demandant moins d'exemples d'entraînement pour converger pendant l'entraînement.

Les groupes Sejnowski et Siegelmann montrent tous deux que leur énergie et leur intelligence sont actives dans le coin des neurones dopants de l'informatique neuromorphique. Le terrain reste à surveiller, même s'il n'a pas encore convaincu les sceptiques.

Commentaires

Laisser un commentaire

Votre commentaire sera révisé par les administrateurs si besoin.