El Capitan utilisera des processeurs et GPU AMD pour atteindre 2 exaflops – Serveur d’impression

HPE et ses collaborateurs ont annoncé aujourd'hui qu'El Capitan, le prochain supercalculateur exascale qui sera installé au Lawrence Livermore National Laboratory et servira la National Nuclear Security Administration (NNSA), utilisera les processeurs Epyc et les GPU Radeon d'AMD de nouvelle génération d'AMD et fournira 2 performances exaflops (double précision maximale), une augmentation de 30% par rapport aux spécifications d'origine. Le nouveau système, qui devrait être mis en service en 2023, sera 10 fois plus rapide que Summit, le supercalculateur public le plus rapide au monde aujourd'hui (Top500, novembre 2019).

Le choix de la technologie de processeur AMD n'avait pas été fait lorsque le ministère de l'Énergie a annoncé pour la première fois en août dernier un achat d'El Capitan d'environ 600 millions de dollars. Cray, qui fait désormais partie de HPE, a été annoncé comme maître d'œuvre, tout comme la sélection de son architecture Shasta. Plus de détails sur les sélections CPU / GPU ainsi que quelques autres éléments du système ont été présentés cette semaine dans un pré-briefing médiatique donné par Bronis de Supinski, CTO, LLNL, Steve Scott, SVP, senior fellow, et CTO, HPE et Forrest Norrod, SVP et GM, groupe de centres de données et systèmes embarqués, AMD.

HPE, par le biais de Cray, a jusqu'à présent été le grand gagnant des loteries américaines Exascale, obtenant des contrats pour les trois systèmes – Aurora, avec une paire Intel CPU / GPU; Frontier, avec une autre paire AMD CPU / GPU, et El Capitan, qui, nous le savons maintenant, comportera également des processeurs AMD et des accélérateurs AMD. Après avoir réintégré le marché des serveurs HPC avec sa gamme de processeurs Epyc en 2017, AMD a d'abord fait preuve de légèreté en associant Epyc aux GPU Radeon dans des serveurs haut de gamme. Cela a clairement changé.

Parlant des sélections de processeur retardées pour El Capitan, Scott a déclaré: «La stratégie qu'ils ont (DoE / LLNL) utilisée – et de plus en plus d'autres l'utilisent également – consiste à choisir l'architecture du système, à commencer à la mettre en place, et puis faites le choix du processeur le plus tard possible dans le processus. En faisant cela, vous pouvez obtenir une meilleure visibilité. Vos phares s'éclairent plus loin dans le futur. Les feuilles de route du processeur ont continué de s'améliorer et en prenant cette décision plus tard, vous avez tendance à obtenir un meilleur résultat à la fin, et c'est exactement ce qui s'est produit ici. "

Il a refusé de spécifier la technologie de processus pour les nouveaux processeurs, mais il y a eu des spéculations sur le fait que Gênes sera fabriqué sur un processus de 5 nm. Nous en saurons peut-être plus bientôt: «Nous dévoilerons plus de détails dans ces parties au fil du temps», a déclaré Norrod d'AMD, «Notre prochaine divulgation sur Gênes sera, très franchement… nous en dirons un peu plus à ce sujet lors de notre journée des analystes financiers qui est ce jeudi. " C’est demain.

La mission principale d'El Capitan se situe dans le programme avancé de simulation et de calcul de la NNSA, qui utilise des simulations pour certifier que le stock nucléaire du pays est sûr, sécurisé et fiable. "Pour fournir cette certification, nous avons besoin de simulations complexes et à mesure que le stock nucléaire vieillit, la complexité des simulations ne fait qu'augmenter et doit pouvoir utiliser des systèmes de plus en plus grands", a déclaré de Supinski.

El Capitan s'appuiera sur l'architecture Shasta de HPE, qui est au cœur de la dernière actualisation de la gamme de produits évolués HPE / Cray. Les autres composants principaux incluent une nouvelle pile logicielle, une nouvelle technologie d'interconnexion Slingshot et un nouveau système de stockage.

"[The] nouvelle pile logicielle qui fournit un environnement de type cloud beaucoup plus dynamique pour les flux de travail hybrides », a déclaré Scott. «Il a ouvert des API documentées entre les composants logiciels. Il a un système de gestion construit avec des microservices redondants et géré comme un cluster Kubernetes, et a un support de conteneur robuste pour permettre aux utilisateurs de prendre n'importe quelle charge de travail qui s'exécute n'importe où et de s'exécuter également sous ce système. " Un cadre de surveillance des systèmes s'exécutera sous la pile pour optimiser les performances et aider à prévoir les défaillances. »

Appelant cela une conception évolutive, Scott a déclaré: «Nous l'avons conçu pour prendre en charge une grande diversité de processeurs, différentes quantités d'énergie, différents types de traitement, différentes tailles physiques du processeur et du système de mémoire. Et nous lui avons donné la puissance et la marge de refroidissement nécessaires pour gérer les processeurs qui se dirigeront à nouveau vers les niveaux de puissance en kilowatts dans les années à venir. "

El Capitan sera refroidi par liquide et aura un budget énergétique compris entre 30 et 40 mégawatts, avec des attentes qu'il se retrouvera plus près de 30 MW que 40 MW selon Scott. Slingshot et Ethernet hautes performances constituent l'interconnexion système prévue. Le système de stockage prévu est le nouveau ClusterStor E1000 de HPE, qui, selon Scott, est «un système de stockage hiérarchisé très flexible utilisant des partitions flash et de disque dur qui vous permet d'optimiser individuellement les performances ainsi que la capacité, puis d'effectuer une hiérarchisation intelligente des données entre les partitions. et cela se rattache directement à l'interconnexion Slingshot, ce qui permet de réduire les coûts, la complexité et la latence. »

Les spécifications de performance spécifiques n'ont généralement pas été divulguées. Le nouveau processeur AMD utilisera le cœur Zen4 qui devrait être lancé en 2021. Le nouveau couplage CPU-GPU (A-plus-A dans le langage AMD) exploitera le tissu Infinity 3.0 d'AMD pour assurer la cohérence de la mémoire. La structure détaillée des nœuds et le nombre de nœuds pour El Capitan n'ont pas été discutés dans le pré-briefing, mais le communiqué de presse officiel a caractérisé l'architecture comme «utilisant des lames de calcul centrées sur l'accélérateur (dans un rapport GPU / CPU de 4: 1, connecté par le Architecture AMD Infinity de 3e génération pour les connexions à large bande passante et à faible latence) pour augmenter les performances des besoins en intelligence artificielle, en apprentissage automatique et en analyse des données en déchargeant le traitement du CPU vers le GPU.

Comme c'est généralement le cas dans les architectures hétérogènes, les accélérateurs gèrent la plupart du travail et nécessitent des E / S efficaces. Norrod a déclaré: «Nous avons une mémoire de nouvelle génération et des sous-systèmes d'E / S qui peuvent fournir un accès non bloquant à la mémoire, un accès non bloquant aux E / S et garantir la pleine puissance du moteur CPU Zen4 et des moteurs GPU Radeon Instinct.»

Il a déclaré que le nouveau GPU est optimisé pour les applications de calcul haute performance et d'intelligence artificielle. "Il a des opérations de précision de mélange étendues pour optimiser ces performances d'apprentissage en profondeur, ainsi que [the ability] pour fournir des performances de précision unique et double avec des applications HPC plus traditionnelles. Il incorpore une nouvelle génération de mémoire à bande passante élevée (HBM) sur le paquet pour fournir la bande passante et la capacité de mémoire si essentielles pour nourrir à nouveau la bête (GPU). "

Alors que de nombreuses charges de travail d'analyse de données sont très différentes de la simulation haute performance, Scott a déclaré: «Il s'avère que l'IA est l'une des charges de travail qui partage beaucoup de points communs avec la simulation haute performance. En règle générale, la granularité ou la précision que vous utilisez pour les calculs est assez différente. La plupart de l'IA est effectuée avec une précision de 16 ou 32 bits, tandis que la plupart des simulations scientifiques sont effectuées avec une précision de 64 bits. Mais les processeurs modernes comme les GPU AMD peuvent prendre leurs unités fonctionnelles et les exécuter soit en mode 64 bits, soit en mode 16 bits ou en mode 32 bits en fonction du calcul particulier. [To do that] vous avez besoin d'une interconnexion solide et d'une bande passante mémoire très élevée qu'elle partage en commun avec les charges de travail scientifiques.

«Nous trouvons que la combinaison du CPU et du GPU avec une précision flexible, associée à une bande passante mémoire très élevée et à une bande passante d'interconnexion et à une bande passante de stockage, est bien adaptée à la fois aux charges de travail de simulation et d'IA et nous pouvons utiliser tous les nœuds de calcul du système pour apporter à supporter ces charges de travail », a déclaré Scott.

Fait intéressant, l'IA n'est actuellement pas une priorité absolue au LLNL.

De Supinski a déclaré: «Nous faisons beaucoup de recherche et développement à Livermore pour explorer comment nous pouvons apporter [AI] pour supporter nos simulations. Alors que nous avons besoin d'une certaine précision, les modèles d'apprentissage profond sont probabilistes et vous pouvez donc souvent être assez bon avec des opérations de moindre précision alors que nous devons être en mesure de comprendre où se trouvent les erreurs et où elles deviennent plus importantes en raison de la précision réduite, puis être capable d'apporter un mécanisme pour augmenter la précision et l'exactitude requises. "

Lors du pré-briefing, une question a été posée sur la capacité d'El Capitan à utiliser des accélérateurs non GPU. Scott a déclaré que, bien que les GPU soient actuellement l'accélérateur d'intelligence artificielle de choix, de nombreux utilisateurs recherchent des alternatives et que l'architecture du système d'El Capitan est "conçue pour s'adapter à ce type de mélange hétérogène".

De Supinski a noté que LLNL utilise un système non classifié, Lassen, une machine sœur du système classifié Sierra, pour en savoir plus sur les accélérateurs d'IA émergents. «Nous étudions activement les moyens d'ajouter des accélérateurs d'apprentissage automatique spécialement conçus à ce système. Je prévois que le mécanisme par lequel nous le faisons est entièrement disponible dans El Capitan; c'est-à-dire que nous pouvons ajouter des nœuds supplémentaires au système qui sont conçus spécifiquement à cet effet. Nous verrons comment vont les choses avec nos études exploratoires sur Lassen. S'ils se déroulent bien, nous serons très susceptibles d'engager HPE pour nous aider à découvrir comment nous pouvons exploiter cela. »

AMD, HPE et LLNL collaborent sur des outils logiciels pour El Capitan. Une partie du plan consiste à tirer parti du cadre ROCm d'AMD pour tirer parti de «l'accélération cohérente dans l'environnement OpenMP ainsi que dans d'autres environnements», selon Norrod.

Scott a déclaré: «Dans le cadre de cet achat, le ministère de l'Énergie a fourni des fonds supplémentaires au-delà de l'achat de la machine pour financer des efforts d'ingénierie non récurrents et l'un des principaux éléments consiste à travailler en étroite collaboration avec AMD pour améliorer l'environnement de programmation de leur nouvelle architecture CPU-GPU. ” Les trois partenaires travaillent actuellement pour faire avancer les applications et les charges de travail critiques et les optimiser pour obtenir les meilleures performances de la machine lors de la livraison d'El Capitan.

De Supinski a souligné: «Il s'agit d'un processus collaboratif, en particulier pour le logiciel. Certains logiciels du système sont en cours de développement chez Lawrence Livermore en plus des applications. Par exemple, nous attendons beaucoup Spack, qui est un package de gestion open source [to able to run] sur le nouveau système. "

Une caractéristique intéressante qui n'a pas été abordée lors de la réunion d'information mais qui a été mentionnée dans l'annonce officielle est l'utilisation prévue par El Capitan de la transmission optique de données.

Selon le communiqué, «HPE étend son partenariat avec LLNL pour explorer activement les technologies optiques HPE, une solution informatique qui utilise la lumière pour transmettre des données, pour figurer dans El Capitan du DOE. Les technologies optiques de HPE découlent des efforts de R&D liés à PathForward, un programme soutenu par le projet informatique américain Exascale. HPE a développé et démontré des prototypes optiques révolutionnaires qui intègrent des interfaces électriques-optiques pour permettre une large utilisation dans les futures classes d'interconnexions de systèmes. Ensemble, HPE et LLNL étudient les moyens d'intégrer ces technologies optiques avec Cray Slingshot de HPE pour El Capitan de DOE pour transmettre plus de données, plus efficacement. Cette approche vise à améliorer l'efficacité énergétique, la fiabilité et la capacité d'augmenter de manière rentable la bande passante du système mondial. »

La transmission optique de données est un foyer de recherche et de nombreuses entreprises recherchent activement une mise en œuvre pratique.

El Capitan deviendra l'ordinateur le plus rapide de la NNSA et améliorera considérablement la capacité de la NNSA à exécuter rapidement des simulations 3D au lieu de la simulation 2D. Le LLNL gère le nouveau système pour la NNSA et a développé des techniques émergentes qui permettent aux chercheurs de créer des modèles plus rapides et plus précis pour les missions principales à travers la modernisation des stocks et la fusion par confinement inertiel (ICF), un aspect clé de la gestion des stocks.

Lien vers l'annonce officielle: https://www.llnl.gov/news/llnl-and-hpe-partner-amd-el-capitan-projected-worlds-fastest-supercomputer