fbpx elasso

Nous présentons un ordinateur inspiré du cerveau

Les neurones TrueNorth vont révolutionner l’architecture du système

Par Dharmendra S. Modha

Il y a six ans, IBM et nos partenaires universitaires se sont lancés dans la recherche d’une machine inspirée par le cerveau, ce qui semblait impossible à l’époque. Aujourd’hui, dans un article publié dans Science, nous fournissons la métrique DARPA SyNAPSE d’un processeur inspiré par le cerveau d’un million de neurones. La puce ne consomme que 70 milliwatts et permet 46 milliards d’opérations synaptiques par seconde, par watt, un superordinateur synaptique dans la paume de votre main.

Chemin faisant, progressant à travers Phase 0, Phase 1, Phase 2et Phase 3– nous avons voyagé de neuroscience à superinformatiqueà nouvelle architecture informatiqueà nouveau langage de programmationà algorithmes, les applications, et maintenant à une nouvelle puce: TrueNorth.

Laissez-moi saisir cette occasion pour vous emmener sur la route sans entrave. En ce moment, j’espère que cette réflexion suscitera en vous un désir ardent de collaborer et de collaborer avec nous pour faire du futur voyage un tout.

Rétrospective

Les ordinateurs d’aujourd’hui datent d’au moins 1642 Blaise Pascal calculatrice mécanique. L’ère moderne de l’informatique a commencé avec le dévoilement d’ENIAC le 15 février 1946. Le développement de la transistor en 1948 a permis la création de circuits intégrés en 1958, ce qui a permis le premier microprocesseur en 1971. Depuis lors, la fréquence d’horloge des microprocesseurs a été multipliée par 1 000. Aussi remarquable que cette évolution soit, elle a été orientée dans une direction diamétralement opposée au paradigme de l’ordinateur du cerveau. Par conséquent, les microprocesseurs actuels sont huit ordres de grandeur plus rapides (en fréquence d’horloge) et quatre ordres de grandeur plus chaud (en puissance par unité de surface corticale) que le cerveau.

Matrice de base de puce

TrueNorth Chip Core Array

Considérant la consommation d’énergie en général, il souligne encore plus la divergence entre le cerveau et les ordinateurs actuels. Notez qu’une “taille humaine” simulation Avec 100 trillions de synapses (avec des modèles relativement simples de neurones et de synapses), il fallait 96 baies Blue Gene / Q du supercalculateur Sequoia Lawrence Livermore National Lab, et pourtant la simulation était 1500 fois plus lente qu’en temps réel. Un ordinateur hypothétique pour exécuter cette simulation en temps réel nécessiterait 12GW, alors que le cerveau humain ne consomme que 20W.

Qu’est-ce qui explique cette disparité?

Il y a deux facteurs: la technologie et architecture. Contrairement à la technologie actuelle du silicium inorganique, le cerveau utilise des logiciels biophysiques, biochimiques et organiques. Alors que l’avenir permet la nanotechnologie est en cours, nous concentré dans le deuxième facteur: l’innovation architecturale, en particulier, pour minimiser le produit de la puissance, de la superficie et des retards d’un système pouvant être mis en œuvre dans la technologie de pointe d’aujourd’hui.




Pour souligner cette divergence entre le cerveau et les ordinateurs, rappelez-vous qu’une simulation à l’échelle humaine Avec 100 milliards de synapses, il faut 96 baies Blue Gene / Q du supercalculateur Sequoia du Lawrence Livermore National Lab


Dharmendra Modha, membre d’IBM

Perspective

Le cortex cérébral est hypothétisé comprendre les microcircuits corticaux canoniques répétitifs. Inspirés par cette hypothèse, en 2011, nous avons démontré un noyau neurosynaptique “à l’échelle du ver” régi par des événements intégrant l’informatique et la mémoire. Nous avons réduit le noyau neurosynaptique 15 fois en surface et 100 fois en puissance, et avons placé 4 096 cœurs sur un réseau de puces pour créer TrueNorth, avec un million de neurones et 256 millions de synapses. Il convient de noter que nous ne nous étions engagés qu’à fournir une puce avec 1 024 cœurs, mais en novembre 2011, en tant qu’équipe, nous avons pris la décision audacieuse d’augmenter le nombre de cas à quatre reprises jusqu’à 4 096 cœurs. Fabriqué selon le procédé 28 nm de Samsung, avec 5,4 milliards de transistors, TrueNorth est la plus grande puce IBM à ce jour en matière de comptage de transistors. Lors de la simulation de réseaux de neurones récurrents complexes, TrueNorth consomme <100 mW de puissance et a une densité de puissance de 20 mW / cm2.

Contrairement à l’architecture prédominante de von Neumann, mais comme le cerveau, TrueNorth possède une architecture parallèle, distribuée, modulaire, évolutive, tolérante aux pannes et flexible, qui intègre informatique, communication et mémoire et ne possède pas d’horloge. Il est juste de dire que TrueNorth redéfinit complètement ce qui est maintenant possible dans le domaine des ordinateurs inspirés du cerveau, en termes de taille, d’architecture, d’efficacité, d’évolutivité et de techniques de conception de puces.

drapeau du cerveau

Voir infographie “Puissance du cerveau”

Concevoir et tester TrueNorth n’était pas facile. Sa taille sans précédent, son architecture non conventionnelle, sa nouvelle méthodologie de circuit hybride synchrone-asynchrone et un nouveau processus technologique inconnu ont nécessité des méthodologies de conception, de vérification et de test personnalisées qui ont nécessité l’innovation, le travail d’équipe et la gestion de projet. Un élément essentiel était l’équivalence un-à-un, au niveau fonctionnel des pics, entre TrueNorth et notre simulateur logiciel, Compass. Cette équivalence nous a permis de commencer à développer des applications bien avant le retour des puces de la fonderie et de vérifier l’exactitude de la logique de la puce.

Ayant épuisé tous les moyens et outils disponibles pour vérifier la puce avant la fabrication, afin de s’assurer qu’il ne restait plus de pierre sans bouger, j’ai même offert un Bouteille de champagne de 1 000 $ à quiconque peut trouver une erreur. Aucun n’a été trouvé. Ce n’est qu’un an plus tard, une fois que la puce a réussi tous les tests d’unité, de régression, de communication fonctionnelle et de communication multipuce, que nous étions certains de l’absence d’erreurs fatales. Mon champagne était en sécurité!

Le projet n’aurait tout simplement pas pu aboutir sans l’esprit d’innovation et le formidable dévouement de l’équipe de base actuelle qui a fourni les outils de conception de circuits asynchrones extrêmement importants que nous avons conjointement raffinés au cours du projet. La collaboration avec Samsung était essentielle pour accéder à son processus de fonderie 28 nm avancé, qui permettait d’équilibrer la faible puissance active de l’architecture avec la faible puissance de la technologie silicium sous-jacente. Je suis immensément reconnaissant à nos plus de 200 employés depuis 2008, répartis dans huit laboratoires et usines IBM, cinq universités, une nouvelle société et deux laboratoires du département de l’énergie. Enfin, le mandat, les paramètres et les investissements de la DARPA étaient absolument essentiels.

Équipe Synapse

Équipe IBM SyNAPSE

Debout, de gauche à droite: Myron Flickner, Tobi Delbruck, Jun Sawada, Bryan Jackson, Wendy Belluomini, Tim Melano, Marc Gonzalez-Tallada, Bill Risk, Kumar Appuswamy, Rodrigo Alvarez-Icaza, Brian Taba, Ben Shaw, Sue Gilson, Arvind Kumar, Arvind Kumar, Pass, Luca Longinotti, Arnon Amir, John Best, Scott Lekuch, Rajit Manohar, Steve Esser, John Arthur

Assis, de droite à gauche: Filipp Akopyan, Arash Shokouhbakhsh, Sim Bamford, Paul Merola, David Barch, Dharmendra Modha, David Berg, Jeff Kusnitz, Alexandre Andreoupoulous, Andrew Cassidy

Auteur de la photo: Hita Bambhania-Modha

Avenir

Soyons clairs: nous n’avons pas construit le cerveau, ou n’importe quel cerveau. Nous avons construit un ordinateur inspiré du cerveau. Les entrées et sorties de cet ordinateur sont Sommets. Sur le plan fonctionnel, il transforme un flux espace-temps de pics d’entrée en un flux espace-temps de pics de sortie.

Si les activités de 1 million de neurones étaient mesurées dans TrueNorth, cela ressemblerait à un paysage urbain nocturne avec des lumières vacillantes. Compte tenu de ce paradigme informatique non conventionnel, compiler C ++ dans TrueNorth revient à utiliser un marteau pour une vis. En conséquence, pour tirer parti de TrueNorth, nous avons conçu un écosystème complet de bout en bout avec un nouveau simulateur, un nouveau langage de programmation, un environnement de programmation intégré, de nouvelles bibliothèques, de nouveaux (et anciens) algorithmes, ainsi que de nouvelles applications et un nouveau curriculum. enseignant (affectueusement appelé “Université SyNAPSE”). L’écosystème a pour objectif d’accroître considérablement la productivité des programmeurs. Métaphoriquement, si TrueNorth est “ENIAC”, notre écosystème est le “Fortran. ”

Nous travaillons, à un rythme effréné, pour rendre l’écosystème disponible, aussi largement que possible, aux utilisateurs d’IBM, aux universités, aux partenaires commerciaux, aux nouvelles entreprises et aux clients. En collaboration avec la communauté universitaire internationale, en tirant parti de l’écosystème, nous prévoyons de mapper efficacement le corps existant d’algorithmes de réseaux de neurones sur l’architecture, tout en étant en mesure d’imaginer et d’inventer de tout nouveaux algorithmes.

Pour prendre en charge ces algorithmes à une échelle croissante, les puces TrueNorth peuvent être regroupées de manière transparente pour créer des systèmes neuromorphiques vastes et évolutifs. En fait, nous avons déjà construit des systèmes avec 16 millions de neurones et 4 milliards de synapses. Nous avons maintenant pour objectif ambitieux d’intégrer 4 096 puces dans un seul rack contenant 4 milliards de neurones et 1 milliard de synapses, tout en consommant environ 4 kW de puissance.

Carte synapse

Carte Synapse 16

L’architecture peut résoudre un large éventail de problèmes (vision, audition et fusion multisensorielle) et peut révolutionner l’industrie informatique en intégrant une capacité semblable à celle du cerveau dans des appareils où l’informatique est limitée par la puissance et la sécurité. vitesse Ces systèmes peuvent traiter efficacement les données sensorielles bruyantes et de grandes dimensions en temps réel, tout en consommant des ordres de grandeur inférieurs à ceux des architectures informatiques classiques.

D’une part, avec les appareils portables: pensez aux smartphones, aux réseaux de capteurs, aux voitures autonomes, aux robots, à la sécurité publique, aux images médicales, à l’analyse vidéo en temps réel, au traitement du signal, à la détection olfactive et à la pathologie numérique. Par contre, avec les supercalculateurs synaptiques: pensez au traitement multimédia dans le cloud. De plus, notre puce peut être utilisée en combinaison avec d’autres technologies informatiques cognitives pour créer des systèmes qui apprennent, raisonnent et aident les humains à prendre de meilleures décisions. Au fil du temps, nous espérons que SyNAPSE deviendra une partie intégrante de la IBM Watson offres de groupe.

Nous avons travaillé avec iniLabs Ltd., créateurs d’une caméra rétinienne, la DVS, qui produit directement des pics, qui sont les entrées naturelles de TrueNorth. En intégrant les deux systèmes, nous avons commencé à étudier des systèmes de vision de bout en bout à très faible consommation.

Si nous considérons les ordinateurs von Neumann actuels comme quelque chose de similaire au “cerveau gauche”: calculatrices rapides, symboliques et numériques, alors TrueNorth peut être comparé au “cerveau droit”: machines lentes, sensorielles et à reconnaissance lente de formes .

Esquisse du cerveau

Cerveau gauche / cerveau droit

Nous prévoyons d’augmenter nos noyaux neurosynaptiques avec plasticité synaptique créer une nouvelle génération d’ordinateurs neurosynaptiques à champ adaptatif capables d’apprendre en ligne.

Je n’étais pas là quand ENIAC est arrivé, mais j’ai le sentiment palpable que nous sommes à un tournant similaire dans l’histoire de l’informatique. Les possibilités techniques et pratiques sont immenses et pourraient toucher toutes les sphères de la science, de la technologie, des entreprises, du gouvernement et de la société. Je suis optimiste sur le fait que la valeur durable de notre travail sera l’inspiration d’une conception complètement différente de la science informatique. Je pense que cela générera beaucoup de créativité de la part des universités, des nouvelles entreprises, des entreprises de technologie établies et des professionnels d’innombrables industries et professions.

Nous n’y sommes pas encore. En fait, TrueNorth est un adresse et pas un le destin! Le but ultime est de construire machines de bureau intelligentes qui permettent à planète cognitive, alors que industries de transformation. Passionnant!